[论文解读] Iterative Attention Mining for Weakly Supervised Thoracic Disease Pattern Localization in Chest X-Rays

Jinzheng Cai, Le Lü+4 more|arXiv (Cornell University)|Jul 3, 2018

COVID-19 diagnosis using AI被引用 11

一句话总结

本文提出了一种迭代注意力挖掘（IAM）框架，仅使用图像级别标签，对胸部X光片中的胸腔疾病模式进行弱监督定位。通过迭代屏蔽显著区域并利用对比损失保留知识，该方法在基于CAM的方法基础上提升了定位精度，在ChestX-ray14数据集上实现了最先进性能，尤其增强了对小尺度病灶（如结节）的敏感性。

ABSTRACT

Given image labels as the only supervisory signal, we focus on harvesting, or mining, thoracic disease localizations from chest X-ray images. Harvesting such localizations from existing datasets allows for the creation of improved data sources for computer-aided diagnosis and retrospective analyses. We train a convolutional neural network (CNN) for image classification and propose an attention mining (AM) strategy to improve the model's sensitivity or saliency to disease patterns. The intuition of AM is that once the most salient disease area is blocked or hidden from the CNN model, it will pay attention to alternative image regions, while still attempting to make correct predictions. However, the model requires to be properly constrained during AM, otherwise, it may overfit to uncorrelated image parts and forget the valuable knowledge that it has learned from the original image classification task. To alleviate such side effects, we then design a knowledge preservation (KP) loss, which minimizes the discrepancy between responses for X-ray images from the original and the updated networks. Furthermore, we modify the CNN model to include multi-scale aggregation (MSA), improving its localization ability on small-scale disease findings, e.g., lung nodules. We experimentally validate our method on the publicly-available ChestX-ray14 dataset, outperforming a class activation map (CAM)-based approach, and demonstrating the value of our novel framework for mining disease locations.

研究动机与目标

• 解决仅使用图像级别标签时，对胸部X光片中胸腔疾病模式进行定位的挑战，避免昂贵的像素级标注。
• 通过在训练过程中迭代识别并屏蔽显著区域，提升模型对疾病模式的敏感性。
• 通过知识保留损失，在注意力挖掘过程中防止先前学习知识的灾难性遗忘。
• 通过在CNN架构中引入多尺度聚合，提升对小尺度异常（如肺结节）的定位能力。
• 在ChestX-ray14数据集上，超越现有弱监督方法，特别是基于CAM的方法，在疾病模式定位方面表现更优。

提出的方法

• 该方法采用仅使用图像级别标签进行训练的卷积神经网络（CNN）进行图像分类。
• 采用迭代注意力挖掘（AM）策略，在每次前向传播中屏蔽最显著的疾病区域，迫使模型关注其他区域，同时保持正确预测。
• 引入知识保留（KP）损失，以最小化原始网络与更新后网络的特征响应差异，防止先前学习知识的遗忘。
• 将多尺度聚合（MSA）集成到CNN中，以提升对小尺度疾病模式（如结节）的定位能力。
• 该框架在注意力挖掘与知识蒸馏之间交替进行，通过多轮迭代逐步优化注意力图。
• 最终的注意力图用于定位疾病模式，无需边界框或分割掩码。

实验结果

研究问题

• RQ1 当仅提供图像级别标签时，迭代注意力挖掘能否提升胸部X光片中胸腔疾病模式的定位性能？
• RQ2 在迭代注意力挖掘过程中，如何减轻知识遗忘，以保持模型在原始分类任务上的性能？
• RQ3 多尺度聚合在多大程度上提升了弱监督定位中对小尺度异常（如肺结节）的检测能力？
• RQ4 与类激活映射（CAM）相比，所提出方法在定位精度和鲁棒性方面表现如何？
• RQ5 该框架能否仅通过弱监督有效定位单张X光片中的多种疾病模式？

主要发现

• 所提出的IAM框架在ChestX-ray14数据集上，相较于基于CAM的基线方法，在胸腔疾病模式定位精度方面表现更优。
• 知识保留损失的引入显著减少了模型遗忘，确保了在迭代注意力挖掘过程中分类精度保持较高水平。
• 多尺度聚合提升了对小尺度病灶（如肺结节）的检测能力，这些病灶常被标准定位方法遗漏。
• 该方法在多种疾病类型上表现出稳健性能，包括具有细微或分散表现的疾病。
• 迭代注意力挖掘过程生成了逐步优化的注意力图，表明模型对相关病理区域的关注更加精准。
• 定量评估证实，与基于CAM的方法相比，所提出方法在疾病定位方面实现了更高的平均精度均值（mAP）。