[论文解读] Leveraging Human Selective Attention for Medical Image Analysis with Limited Training Data

Yifei Huang, Xiaoxiao Li+7 more|arXiv (Cornell University)|Dec 2, 2021

Advanced Neural Network Applications参考文献 50被引用 4

一句话总结

本文提出了一种新颖的框架，通过利用人类注视数据，在训练数据有限的情况下提升医学图像分析性能。该框架通过选择性注意力网络（SAN）和辅助注意力模块（AAB）模拟选择性注意力机制。AAB采用改进的多头注意力机制，将基于注视数据生成的注意力图融入主干编码器，实现了在3D脑肿瘤分割和2D胸部X光片分类任务上的最先进性能，且仅需极少的标注数据。

ABSTRACT

The human gaze is a cost-efficient physiological data that reveals human underlying attentional patterns. The selective attention mechanism helps the cognition system focus on task-relevant visual clues by ignoring the presence of distractors. Thanks to this ability, human beings can efficiently learn from a very limited number of training samples. Inspired by this mechanism, we aim to leverage gaze for medical image analysis tasks with small training data. Our proposed framework includes a backbone encoder and a Selective Attention Network (SAN) that simulates the underlying attention. The SAN implicitly encodes information such as suspicious regions that is relevant to the medical diagnose tasks by estimating the actual human gaze. Then we design a novel Auxiliary Attention Block (AAB) to allow information from SAN to be utilized by the backbone encoder to focus on selective areas. Specifically, this block uses a modified version of a multi-head attention layer to simulate the human visual search procedure. Note that the SAN and AAB can be plugged into different backbones, and the framework can be used for multiple medical image analysis tasks when equipped with task-specific heads. Our method is demonstrated to achieve superior performance on both 3D tumor segmentation and 2D chest X-ray classification tasks. We also show that the estimated gaze probability map of the SAN is consistent with an actual gaze fixation map obtained by board-certified doctors.

研究动机与目标

• 在标注数据稀缺的情况下提升医学图像分析性能，受人类选择性注意机制的启发。
• 利用放射科医生采集的注视数据，建模医学影像中的视觉注意机制。
• 设计一种即插即用的模块，将基于注视的注意机制迁移至主干网络，用于分割与分类任务。
• 在真实专家注视数据的基础上，于3D与2D医学影像任务上验证该框架的有效性。
• 证明基于注视估计的注意力图与临床环境中实际的人类注视模式具有一致性。

提出的方法

• 在来自认证放射科医生的实际注视数据上训练选择性注意力网络（SAN），以估计与任务相关的注意力图。
• 辅助注意力模块（AAB）采用改进的多头注意力机制，将SAN预测的注视特征作为查询向量注入主干编码器。
• AAB使用主干网络特征作为键和值，而SAN输出作为查询，实现空间感知的特征优化。
• 该框架兼容多种主干网络架构（如EfficientNet、ResNet、MobileNet）及用于分割与分类的任务特定头。
• 该方法采用端到端训练，主任务使用交叉熵损失，SAN则使用注视估计损失。
• 注视数据通过在BraTS 2020和MIMIC-CXR-gaze数据集上进行诊断筛查任务时使用眼动仪采集。

实验结果

研究问题

• RQ1 在标注数据有限的情况下，人类注视数据是否能提升医学图像分析性能？
• RQ2 所学习的注视估计网络（SAN）在多大程度上能预测与实际放射科医生注视点一致的注意模式？
• RQ3 通过AAB模块集成基于注视的注意力是否能提升主干网络在医学任务中的特征学习能力？
• RQ4 该框架在不同成像模态（2D X光、3D MRI）和主干网络架构上的泛化能力如何？
• RQ5 在零样本或少样本设置下，仅使用注视数据而无需直接访问目标数据，是否能提升模型的泛化能力？

主要发现

• 所提出的框架在仅使用完整训练数据0.3的BraTS 2020 3D脑肿瘤分割任务中达到最先进性能，优于所有基线模型。
• 在MIMIC-CXR-gaze数据集上，该方法在使用0.7的训练数据时，平均AUROC达到59.26%，显著优于主干网络（55.14%）和注视基线（55.07%）。
• SAN估计的注视概率图与认证放射科医生实际采集的注视图在空间上表现出强一致性。
• AAB模块在多种主干网络上均实现性能提升，其中EfficientNet-b0在数据有限条件下表现优于ResNet-18和MobileNet-v2。
• 该框架在MIMIC-CXR-gaze数据集的所有疾病类别中均表现出一致改进，尤其在心力衰竭（61.31% AUROC）和胸腔积液（61.94% AUROC）类别中表现突出，数据比例为0.7。
• 消融实验表明，性能提升源于AAB设计本身，而非单纯引入注视数据，其表现优于同时包含注视数据和损失的基线模型（+gaze* 和 gaze loss baseline）。