[论文解读] Learning Mutually Local-global U-nets For High-resolution Retinal Lesion Segmentation in Fundus Images

Zizheng Yan, Xiaoguang Han+4 more|arXiv (Cornell University)|Jan 18, 2019

Retinal Imaging and Analysis参考文献 12被引用 19

一句话总结

本文提出了一种相互增强的局部-全局U-Net框架，通过联合优化下采样全局U-Net与基于图像块的U-Net，以提升高分辨率视网膜病变分割性能。通过将全局解码器的特征图融合至局部解码器，并联合训练两个分支，该模型在微动脉瘤和硬性渗出等小而分散的病变上表现更优，优于独立的全局与局部网络。

ABSTRACT

Diabetic retinopathy is the most important complication of diabetes. Early diagnosis of retinal lesions helps to avoid visual loss or blindness. Due to high-resolution and small-size lesion regions, applying existing methods, such as U-Nets, to perform segmentation on fundus photography is very challenging. Although downsampling the input images could simplify the problem, it loses detailed information. Conducting patch-level analysis helps reaching fine-scale segmentation yet usually leads to misunderstanding as the lack of context information. In this paper, we propose an efficient network that combines them together, not only being aware of local details but also taking fully use of the context perceptions. This is implemented by integrating the decoder parts of a global-level U-net and a patch-level one. The two streams are jointly optimized, ensuring that they are enhanced mutually. Experimental results demonstrate our new framework significantly outperforms existing patch-based and global-based methods, especially when the lesion regions are scattered and small-scaled.

研究动机与目标

• 解决在高分辨率眼底图像中分割小而分散的视网膜病变的挑战，其中全局方法会损失细节，而局部方法缺乏上下文信息。
• 通过整合局部细粒度特征与全局上下文感知能力，克服现有基于图像块和基于全局的U-Net方法的局限性。
• 设计一种统一的、端到端可训练的框架，实现局部与全局分割分支之间的相互增强。
• 提升微动脉瘤和硬性渗出等小而分散病变的分割精度，这些病变因分辨率与上下文之间的权衡而使当前方法难以处理。

提出的方法

• 该框架包含两个U-Net分支：GlobalNet处理下采样图像以生成粗分割图，LocalNet处理裁剪的图像块以实现细粒度分割。
• 将GlobalNet解码器的特征图裁剪后拼接至LocalNet解码器的对应层，以向局部预测注入全局上下文信息。
• 通过共享损失函数联合优化两个分支，实现相互增强：局部损失提升全局特征学习能力，而全局上下文减少局部预测的歧义性。
• 采用三阶段训练策略：先分别预训练GlobalNet和LocalNet，然后微调融合模块，最后对整个网络进行端到端微调。
• 最终的分割结果通过拼接所有图像块的预测获得，每个256×256图像块的推理时间在10–30 ms之间。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效结合局部细节敏感性与全局上下文感知能力，以实现高分辨率视网膜病变分割？
• RQ2 对局部与全局U-Net分支进行联合优化，是否能相比孤立的局部或全局模型，在小而分散的病变上实现性能提升？
• RQ3 将全局上下文信息融入局部分割中，如何减少跨图像块边界处的误分类与不一致性？
• RQ4 在哪些病变类型中（如微动脉瘤与出血灶），所提出的方法表现出最大的性能增益？

主要发现

• 所提出的融合模型在硬性渗出（EX）上的AUPR达到0.889，显著优于GlobalNet（0.849）和LocalNet（0.845）。
• 对于微动脉瘤（MA），融合模型的AUPR达到0.525，超过GlobalNet（0.484）和LocalNet（0.433）。
• 该模型在小而分散的病变上表现最佳：在EX和MA上性能提升明显，因为全局方法会损失细节，而局部方法缺乏上下文。
• 对于较大且更紧凑的病变（如出血灶HE和软性渗出SE），GlobalNet仍优于融合模型，表明该方法在小而分散的目标上效果最显著。
• 该模型在2018年ISBI挑战赛排行榜上达到最先进性能，超越所有使用U-Net作为主干网络的已报告结果。
• 三阶段训练策略（预训练、融合模块微调、端到端微调）确保了稳定的收敛性，并实现了分支间有效的特征迁移。