[论文解读] Assessing Knee OA Severity with CNN attention-based end-to-end architectures

Marc Górriz, Joseph Antony+3 more|arXiv (Cornell University)|Aug 23, 2019

Osteoarthritis Treatment and Mechanisms参考文献 33被引用 19

一句话总结

本文提出一种端到端的CNN架构，集成可训练的注意力模块，能够自动定位并聚焦于膝关节X光片中与骨关节炎（OA）严重程度相关的感兴趣区域（ROIs）。通过将多尺度注意力机制整合到预训练的CNN（如VGG-16）中，该模型在OAI和MOST数据集上实现了当前最优性能，Cohen’s kappa值达到0.63，接近人类水平的一致性。

ABSTRACT

This work proposes a novel end-to-end convolutional neural network (CNN) architecture to automatically quantify the severity of knee osteoarthritis (OA) using X-Ray images, which incorporates trainable attention modules acting as unsupervised fine-grained detectors of the region of interest (ROI). The proposed attention modules can be applied at different levels and scales across any CNN pipeline helping the network to learn relevant attention patterns over the most informative parts of the image at different resolutions. We test the proposed attention mechanism on existing state-of-the-art CNN architectures as our base models, achieving promising results on the benchmark knee OA datasets from the osteoarthritis initiative (OAI) and multicenter osteoarthritis study (MOST). All code from our experiments will be publicly available on the github repository: https://github.com/marc-gorriz/KneeOA-CNNAttention

研究动机与目标

• 消除自动化膝关节骨关节炎严重程度评估中对独立膝关节定位步骤的需求。
• 通过在CNN中学习细粒度的、注意力驱动的多尺度特征模式，提升分类性能。
• 开发一种可训练的、无监督的注意力机制，以增强模型的可解释性和鲁棒性。
• 在基准数据集（OAI和MOST）上评估该方法，并与现有最先进方法进行比较。
• 证明端到端训练结合多损失优化可提升注意力掩码质量与整体性能。

提出的方法

• 引入一种可在CNN流水线中多个层级和尺度上操作于2D特征图的可训练注意力模块。
• 将注意力模块作为可学习的门控机制，生成空间注意力图以突出显示信息丰富的图像区域。
• 采用多损失训练策略，联合优化主分类头与多个深度不同的注意力分支。
• 通过加权融合注意力分支（例如，深层分支w1 = 0.8）来平衡收敛速度并提升特征抽象能力。
• 通过在中间层插入注意力模块，对现有最先进CNN（如VGG-16）进行适应性改造，而无需对网络架构进行大规模修改。
• 使用交叉熵损失和均方误差损失，对分类任务和Kellgren-Lawrence（KL）分级回归任务进行端到端联合训练。

实验结果

研究问题

• RQ1 具有可学习注意力机制的端到端CNN是否能在膝关节骨关节炎严重程度分级任务中优于两阶段的定位-分类流水线？
• RQ2 在不同网络深度上实现的多尺度注意力如何改善特征学习与模型性能？
• RQ3 注意力模块在无需标注关节位置的情况下，能在多大程度上作为无监督的ROI检测器发挥作用？
• RQ4 多个注意力分支的多损失训练是否能带来更好的泛化能力，并与放射科医生的一致性更高？
• RQ5 该方法在KL分级中与人类水平的阅片者间可靠性相比如何？

主要发现

• 所提出的基于注意力的端到端模型在OAI数据集上取得了64.3%的测试准确率，优于先前的最先进方法。
• 该模型与放射科医生标注结果的Cohen’s kappa值达到0.63，表明存在显著一致性，已接近人类水平的可靠性。
• 通过采用多损失策略并降低深层注意力分支的贡献权重（w1 = 0.8），实现了最佳性能，提升了掩码精度。
• 该方法消除了对独立膝关节定位的需求，降低了训练复杂度并减少了对人工标注的依赖。
• 注意力模块在无监督条件下有效定位了相关解剖结构（如关节间隙、骨赘），表现出对噪声和变异的鲁棒性。
• 该方法在不同主干网络架构上均具有泛化能力，并持续优于基线模型（如Antony et al. (2017) 和未使用注意力的微调VGG-16）