[论文解读] Improving Robustness using Joint Attention Network For Detecting Retinal Degeneration From Optical Coherence Tomography Images

Sharif Amit Kamran, Alireza Tavakkoli+1 more|arXiv (Cornell University)|May 16, 2020

Retinal Imaging and Analysis参考文献 28被引用 30

一句话总结

本文提出一种联合注意力网络架构，通过结合监督分类与无监督注意力图学习，提升了在光学相干断层扫描（OCT）图像中视网膜变性检测的鲁棒性。通过引入一种双自适应损失函数，平衡分类与重建任务，该方法保留了与疾病相关的空间特征，在多个最先进模型的未见数据集上显著提高了准确率与泛化能力。

ABSTRACT

Noisy data and the similarity in the ocular appearances caused by different ophthalmic pathologies pose significant challenges for an automated expert system to accurately detect retinal diseases. In addition, the lack of knowledge transferability and the need for unreasonably large datasets limit clinical application of current machine learning systems. To increase robustness, a better understanding of how the retinal subspace deformations lead to various levels of disease severity needs to be utilized for prioritizing disease-specific model details. In this paper we propose the use of disease-specific feature representation as a novel architecture comprised of two joint networks -- one for supervised encoding of disease model and the other for producing attention maps in an unsupervised manner to retain disease specific spatial information. Our experimental results on publicly available datasets show the proposed joint-network significantly improves the accuracy and robustness of state-of-the-art retinal disease classification networks on unseen datasets.

研究动机与目标

• 解决深度学习模型在应用于真实世界OCT图像时，视网膜疾病分类任务中鲁棒性较低的挑战。
• 通过保留标准卷积神经网络（CNN）在特征编码过程中丢失的与疾病相关的空间特征，提升模型的泛化能力。
• 通过利用无监督注意力学习，实现在无需微调的情况下跨多种OCT成像系统之间的可迁移性。
• 开发一种即插即用模块，以增强现有CNN架构，便于临床部署。

提出的方法

• 提出一种包含三个组件的联合网络：监督编码器、无监督解码器和监督分类器。
• 通过跳跃连接在每个阶段对编码器和解码器的特征进行逐元素相加，以保留空间信息。
• 采用双自适应损失函数：L = φ × Ls + (1−φ) × Lu，其中Ls为分类任务的交叉熵损失，Lu为重建任务的均方误差损失。
• 超参数φ在训练过程中进行调优，以平衡分类与重建损失的重要性。
• 无监督解码器在无需真实标签的情况下生成注意力图，从而实现与领域无关的空间特征学习。
• 该架构可作为即插即用模块集成至现有CNN模型，如ResNet50、MobileNet-v2和OpticNet-71。

实验结果

研究问题

• RQ1 联合监督与无监督学习是否能提升视网膜疾病分类模型在未见OCT数据集上的鲁棒性？
• RQ2 通过无监督自编码器组件保留空间特征表示，在多大程度上能增强模型的泛化能力？
• RQ3 双自适应损失机制如何影响分类准确率与空间特征重建之间的权衡？
• RQ4 所提出的联合注意力模块是否能有效跨不同OCT成像系统与疾病类型进行迁移？

主要发现

• 在Srinivasan2014数据集上，将联合注意力网络附加至ResNet50-v1时，准确率、特异性与敏感性均达到100%，各项指标较原始模型提升5.08%。
• 在未见的OCT2017数据集上测试时，联合注意力网络将准确率从ResNet50-v1的83.40%提升至92.40%，相对提升9.0%。
• 对于MobileNet-v2，OCT2017数据集上的准确率从93.80%提升至95.60%，特异性和敏感性分别提升1.8%。
• 该方法在所有测试架构中均表现出一致的性能提升，表明其具备强大的可迁移性与鲁棒性。
• 无监督解码器在无标签条件下实现了有效的图像重建，验证了注意力图学习在保留空间信息方面的有效性。
• 双自适应损失机制实现了动态梯度更新，最优φ值被发现可提升收敛速度与模型性能。