[论文解读] Diagnose like a Radiologist: Attention Guided Convolutional Neural Network for Thorax Disease Classification

Qingji Guan, Yaping Huang+4 more|arXiv (Cornell University)|Jan 30, 2018

COVID-19 diagnosis using AI参考文献 31被引用 241

一句话总结

AG-CNN 引入一个三分支架构（全局、局部、融合），使用来自全局胸部X光图像的注意力引导的局部区域裁剪以提升 ChestX-ray14 的胸腔疾病分类，达到最先进的 AUC。

ABSTRACT

This paper considers the task of thorax disease classification on chest X-ray images. Existing methods generally use the global image as input for network learning. Such a strategy is limited in two aspects. 1) A thorax disease usually happens in (small) localized areas which are disease specific. Training CNNs using global image may be affected by the (excessive) irrelevant noisy areas. 2) Due to the poor alignment of some CXR images, the existence of irregular borders hinders the network performance. In this paper, we address the above problems by proposing a three-branch attention guided convolution neural network (AG-CNN). AG-CNN 1) learns from disease-specific regions to avoid noise and improve alignment, 2) also integrates a global branch to compensate the lost discriminative cues by local branch. Specifically, we first learn a global CNN branch using global images. Then, guided by the attention heat map generated from the global branch, we inference a mask to crop a discriminative region from the global image. The local region is used for training a local CNN branch. Lastly, we concatenate the last pooling layers of both the global and local branches for fine-tuning the fusion branch. The Comprehensive experiment is conducted on the ChestX-ray14 dataset. We first report a strong global baseline producing an average AUC of 0.841 with ResNet-50 as backbone. After combining the local cues with the global information, AG-CNN improves the average AUC to 0.868. While DenseNet-121 is used, the average AUC achieves 0.871, which is a new state of the art in the community.

研究动机与目标

• 通过聚焦疾病特定的局部区域而非整张图像来改进胸腔疾病分类的动机。
• 解决胸部 X 光分析中的对齐不良和背景噪声问题。
• 提出一种注意力引导的三分支架构，用于融合全局和局部线索以获得更好准确性。

提出的方法

• 提出 AG-CNN，具有全局、局部和融合三分支，在全局图像和注意力裁剪的局部区域上运行。
• 从全局分支生成注意力热图，通过在最后卷积层的绝对激活的通道上取最大得到 H_g。
• 通过对 H_g 使用阈值 tau 二值化得到二值掩模 M，提取最大连通区域，并从 I 中裁剪 I_c 作为局部输入。
• 分别训练全局和局部分支，然后在融合分支中融合它们的 Pool5 特征，进行最终分类。
• 三阶段训练协议：阶段 I（训练全局分支），阶段 II（裁剪局部区域并训练局部分支），阶段 III（使用连接的 Pool5 特征训练融合分支）。
• 在 ChestX-ray14 上以 14 种病理加 No Finding 使用多标签设置（C=15）进行评估。

实验结果

研究问题

• RQ1 注意力引导的局部区域裁剪是否能在胸腔疾病分类上优于全局图像基线？
• RQ2 全局和局部分支是否提供互补信息，当两者融合时是否比任一分支单独时具有更高的准确性？
• RQ3 该方法对局部区域阈值 tau 以及主干选择（ResNet-50 与 DenseNet-121）有多大敏感性？
• RQ4 所提出的方法对胸部 X 光图像的对齐不良和背景噪声有多鲁棒？

主要发现

• 全局基线（ResNet-50）在 ChestX-ray14 上实现平均 AUC 0.841。
• AG-CNN 结合全局+局部融合，平均 AUC 提升至 0.868（ResNet-50）和 0.871（DenseNet-121），达到最先进水平。
• 局部分支单独时的平均 AUC 约 0.817–0.810，低于全局基线，表明局部裁剪在融合时有帮助。
• 融合分支在两个骨干网络的14种病理上始终优于两个单独分支。
• 该方法对参数变化相对稳健，tau 约为 0.7 时性能强劲，融合相较任一分支单独提供增益。
• 最大增益出现在小病变类别（如结节），其中局部注意力有助于降低背景噪声。