[论文解读] Bridge the Domain Gap Between Ultra-wide-field and Traditional Fundus Images via Adversarial Domain Adaptation

Lie Ju, Xin Wang+6 more|arXiv (Cornell University)|Mar 23, 2020

Retinal Imaging and Analysis参考文献 26被引用 4

一句话总结

本文提出了一种新颖的对抗性域自适应框架，用于弥合传统眼底图像与超广角（UWF）眼底图像之间的域差距，从而实现从丰富的传统眼底数据向稀缺的UWF数据的知识迁移。通过结合循环一致性生成对抗网络、伪标签、一致性正则化以及MixUp增强技术，该方法显著提升了UWF视网膜疾病分类性能，F1得分达到66.71%，较仅在UWF数据上训练的模型（F1得分为55.47%）提高了8.28个百分点。

ABSTRACT

For decades, advances in retinal imaging technology have enabled effective diagnosis and management of retinal disease using fundus cameras. Recently, ultra-wide-field (UWF) fundus imaging by Optos camera is gradually put into use because of its broader insights on fundus for some lesions that are not typically seen in traditional fundus images. Research on traditional fundus images is an active topic but studies on UWF fundus images are few. One of the most important reasons is that UWF fundus images are hard to obtain. In this paper, for the first time, we explore domain adaptation from the traditional fundus to UWF fundus images. We propose a flexible framework to bridge the domain gap between two domains and co-train a UWF fundus diagnosis model by pseudo-labelling and adversarial learning. We design a regularisation technique to regulate the domain adaptation. Also, we apply MixUp to overcome the over-fitting issue from incorrect generated pseudo-labels. Our experimental results on either single or both domains demonstrate that the proposed method can well adapt and transfer the knowledge from traditional fundus images to UWF fundus images and improve the performance of retinal disease recognition.

研究动机与目标

• 解决在视网膜疾病诊断中深度学习模型训练时超广角眼底图像数据有限的挑战。
• 弥合传统眼底图像（数据丰富、标注良好）与UWF眼底图像（数据稀缺、噪声多、临床真实）之间的域差距，以实现有效的知识迁移。
• 开发一种协同训练框架，利用对抗学习与伪标签技术，联合源域（传统）与目标域（UWF）数据，提升模型泛化能力。
• 通过MixUp增强与一致性正则化，缓解由错误伪标签引发的过拟合与确认偏见。
• 证明从传统眼底图像到UWF眼底图像的域自适应可显著提升真实临床UWF数据上的分类性能。

提出的方法

• 采用循环一致性生成对抗网络（CycleGAN）将传统眼底图像翻译为类似UWF的图像，以减少域偏移。
• 应用伪标签技术，利用预训练的源域分类器为翻译后的UWF类图像生成合成标签。
• 引入一致性正则化项，强制模型对真实UWF图像与翻译后的UWF图像产生相似的预测结果，从而提升鲁棒性。
• 在协同训练过程中使用MixUp增强技术，以减少由潜在错误伪标签引发的过拟合与确认偏见。
• 在真实UWF图像与伪标签翻译图像上联合训练分类模型，并通过对抗训练对齐跨域的特征分布。
• 端到端优化该框架，采用联合损失函数，包含分类损失、对抗损失、一致性正则化损失与MixUp损失。

实验结果

研究问题

• RQ1 对抗性域自适应能否有效弥合传统眼底图像与UWF眼底图像之间的域差距？
• RQ2 在有限UWF数据上训练时，伪标签与一致性正则化结合如何提升模型泛化能力？
• RQ3 MixUp增强在多大程度上缓解了域自适应中由噪声或错误伪标签引发的过拟合问题？
• RQ4 与仅在UWF数据上训练相比，从传统眼底图像迁移知识是否能提升真实世界UWF眼底图像上的分类性能？
• RQ5 生成的伪标签图像数量如何影响模型性能？是否存在一个能最大化性能的最优数量？

主要发现

• 所提方法在UWF眼底图像分类任务上达到66.71%的F1得分，较仅在真实UWF数据上训练的模型（F1得分为55.47%）提升了8.28个百分点。
• 在所有指标上，该方法均优于微调、知识蒸馏、伪标签与MixUp基线模型，当使用500张伪标签图像时，准确率最高（81.37%），F1得分最高（66.71%）。
• 一致性正则化显著提升了模型鲁棒性，通过对齐真实与翻译后UWF图像的预测结果，减轻了域偏移的影响。
• 当伪标签图像数量超过最优值（如500张）后，性能开始下降，表明图像质量比数量更为关键。
• MixUp增强有效减少了由错误伪标签引发的过拟合与确认偏见，相比仅使用伪标签（F1得分为60.92%），使F1得分提升至61.48%。
• 消融实验证实，高质量伪标签图像至关重要——过多低质量图像会降低模型性能，凸显了正则化与数据质量控制的重要性。