[论文解读] JOINED : Prior Guided Multi-task Learning for Joint Optic Disc/Cup Segmentation and Fovea Detection

Huaqing He, Lin Li+2 more|arXiv (Cornell University)|Mar 1, 2022

Retinal Imaging and Analysis被引用 7

一句话总结

该论文提出 JOINED，一种基于先验知识的多任务学习框架，通过整合距离预测与基于热力图的检测方法，联合完成眼底图像中的视盘/视杯分割与黄斑检测。该方法在 GAMMA、PALM 和 REFUGE 数据集上达到最先进性能，在 MICCAI2021 OMIA8 挑战赛中综合排名第五，在临床关键指标 vCDR 上排名第三。

ABSTRACT

Fundus photography has been routinely used to document the presence and severity of various retinal degenerative diseases such as age-related macula degeneration, glaucoma, and diabetic retinopathy, for which the fovea, optic disc (OD), and optic cup (OC) are important anatomical landmarks. Identification of those anatomical landmarks is of great clinical importance. However, the presence of lesions, drusen, and other abnormalities during retinal degeneration severely complicates automatic landmark detection and segmentation. Most existing works treat the identification of each landmark as a single task and typically do not make use of any clinical prior information. In this paper, we present a novel method, named JOINED, for prior guided multi-task learning for joint OD/OC segmentation and fovea detection. An auxiliary branch for distance prediction, in addition to a segmentation branch and a detection branch, is constructed to effectively utilize the distance information from each image pixel to landmarks of interest. Our proposed JOINED pipeline consists of a coarse stage and a fine stage. At the coarse stage, we obtain the OD/OC coarse segmentation and the heatmap localization of fovea through a joint segmentation and detection module. Afterwards, we crop the regions of interest for subsequent fine processing and use predictions obtained at the coarse stage as additional information for better performance and faster convergence. Experimental results reveal that our proposed JOINED outperforms existing state-of-the-art approaches on the publicly-available GAMMA, PALM, and REFUGE datasets of fundus images. Furthermore, JOINED ranked the 5th on the OD/OC segmentation and fovea detection tasks in the GAMMA challenge hosted by the MICCAI2021 workshop OMIA8.

研究动机与目标

• 解决因病变和退行性改变导致的视网膜图像中精确解剖标志点检测的挑战。
• 通过利用多个解剖标志点的临床先验知识，提升分割与定位性能。
• 开发一种统一框架，通过多任务学习联合优化视盘/视杯分割与黄斑检测。
• 通过端到端的粗到细处理与辅助距离预测，提升模型稳定性和收敛速度。
• 验证在视网膜图像分析中引入距离感知监督与热力图回归的有效性。

提出的方法

• 提出两阶段流程：第一阶段为粗粒度分割与黄斑定位，第二阶段聚焦于裁剪后的感兴趣区域。
• 引入距离预测分支，估计每个像素到视盘、视杯和黄斑的距离，作为分割与检测的先验信息。
• 采用热力图回归分支以实现黄斑的精确定位，为检测任务提供精确的空间监督。
• 使用共享的编码器-解码器主干网络，配备三个并行分支：分割、检测（热力图）与距离预测。
• 通过结合坐标回归与热力图检测输出的集成推理方法，提升定位稳定性。
• 采用多任务损失函数，其损失为分割交叉熵、检测平均绝对误差（MAE）与距离预测损失的加权和。

实验结果

研究问题

• RQ1 将所有像素到关键解剖标志点的距离信息整合，是否能提升视网膜图像中的分割与检测性能？
• RQ2 通过联合检测与距离预测的多任务学习，能否提升视盘/视杯分割与黄斑定位的准确性与稳定性？
• RQ3 采用感兴趣区域裁剪的粗到细策略在多大程度上提升了模型收敛速度与性能表现？
• RQ4 将黄斑位置与相对空间先验信息纳入模型，是否能提升在图像质量各异的多样化数据集上的泛化能力？
• RQ5 在临床相关性方面，特别是青光眼诊断的关键指标 vCDR 上，该框架与当前最先进方法相比表现如何？

主要发现

• JOINED 在 GAMMA 数据集上实现了视盘分割最高的 Dice 分数（95.53 ± 5.60%）与视杯分割最高的 Dice 分数（86.89 ± 9.10%），优于所有基线模型，包括 UNet、UNet++ 和 DeepLabv3+。
• 该方法在 MICCAI2021 OMIA8 挑战赛中综合排名第五，且在关键的 vCDR 指标上排名第三，对青光眼诊断具有重要意义。
• 消融实验证实，加入距离预测分支虽使 Dice 分数略有下降，但显著提升了分割稳定性并降低了标准差。
• 单独引入检测分支（热力图）与距离分支均可提升性能，但完整 JOINED 模型（三者并用）实现了最佳整体表现。
• 可视化结果表明，JOINED 生成的分割掩膜比基线方法更精确、更准确，尤其在 GAMMA 与 PALM 数据集中低质量图像上表现更优。
• 该模型在不同数据集上表现出强鲁棒性，在高质量数据集（REFUGE）与低质量数据集（GAMMA、PALM）上均保持高水平性能。