[论文解读] Human Attention in Fine-grained Classification

Yao Rong, Wenjia Xu+2 more|arXiv (Cornell University)|Nov 2, 2021

Retinal Imaging and Analysis参考文献 54被引用 14

一句话总结

本文通过引入注视增强训练（Gaze Augmentation Training, GAT）和知识融合网络（Knowledge Fusion Network, KFN），将人类注视数据整合到深度学习模型中，用于细粒度图像分类。基于新的注视标注数据集CUB-GHA以及来自CXR-Eye的医学影像数据，作者表明，引入人类注意力可使分类准确率相比最先进模型最高提升4.38%，证明人类注视能揭示判别性特征，从而提升模型性能与可解释性。

ABSTRACT

The way humans attend to, process and classify a given image has the potential to vastly benefit the performance of deep learning models. Exploiting where humans are focusing can rectify models when they are deviating from essential features for correct decisions. To validate that human attention contains valuable information for decision-making processes such as fine-grained classification, we compare human attention and model explanations in discovering important features. Towards this goal, we collect human gaze data for the fine-grained classification dataset CUB and build a dataset named CUB-GHA (Gaze-based Human Attention). Furthermore, we propose the Gaze Augmentation Training (GAT) and Knowledge Fusion Network (KFN) to integrate human gaze knowledge into classification models. We implement our proposals in CUB-GHA and the recently released medical dataset CXR-Eye of chest X-ray images, which includes gaze data collected from a radiologist. Our result reveals that integrating human attention knowledge benefits classification effectively, e.g. improving the baseline by 4.38% on CXR. Hence, our work provides not only valuable insights into understanding human attention in fine-grained classification, but also contributes to future research in integrating human gaze with computer vision tasks. CUB-GHA and code are available at https://github.com/yaorong0921/CUB-GHA.

研究动机与目标

• 探究人类注意力是否聚焦于细粒度分类中至关重要的判别性特征。
• 验证人类注视数据是否可提升深度学习模型在图像分类任务中的性能。
• 开发有效方法，将人类注视知识整合到神经网络训练与推理过程中。
• 构建一个新的基准数据集CUB-GHA，通过添加注视标注，用于细粒度视觉识别。
• 展示人类注意力在高风险领域（如医学影像）中的实际价值，提升模型可信度并使其与人类决策保持一致。

提出的方法

• 在CUB细粒度分类数据集上收集人类注视数据，创建基于注视点生成显著图的CUB-GHA数据集。
• 提出注视增强训练（Gaze Augmentation Training, GAT），利用基于注视的注意力图增强训练数据，突出人类关注区域。
• 提出知识融合网络（Knowledge Fusion Network, KFN），一种双分支结构，在推理过程中融合图像特征与基于注视的注意力特征。
• 使用Grad-CAM可视化并比较KFN中图像分支与注视分支的注意力图，确保与人类注意力对齐。
• 在CUB-GHA与CXR-Eye数据集上采用5折交叉验证进行公平评估，确保性能比较的稳健性。
• 通过高斯滤波对注视点进行显著图生成，将注视数据转换为注意力热图，以实现与模型的集成。

实验结果

研究问题

• RQ1 在执行细粒度图像分类时，人类是否持续关注最具判别性的特征？
• RQ2 人类注视数据是否可提升深度学习模型在细粒度分类任务中的性能？
• RQ3 整合注视数据如何影响模型的可解释性及与人类决策的一致性？
• RQ4 在不同领域（如鸟类种类与医学胸部X光片）中，注视集成带来的性能提升是否具有一致性？
• RQ5 在不同数据采集设置下，通过数据增强还是特征融合方式整合注视知识最为有效？

主要发现

• 在细粒度分类中，人类注视始终聚焦于判别性、任务关键区域，如鸟类的喙部与翅膀图案，证实人类注意力集中于关键特征。
• 知识融合网络（KFN）在CXR-Eye数据集上相比基线模型准确率提升3.45%，在该设置下优于GAT，因其更有效地利用了弥散性注视模式。
• 结合GAT与KFN的完整模型在CXR-Eye数据集上相比EfficientNet-b5基线模型准确率提升4.38%，达到75.35%。
• 在CUB-GHA数据集上，KFN的性能提升优于GAT，表明当注视点分布在多个区域时，特征融合比数据增强更有效。
• KFN生成的模型解释与人类注视图的对齐度高于基线模型，从而在医学诊断中提升了模型可信度与可解释性。
• CUB-GHA数据集为未来研究提供了宝贵资源，结合了图像数据与注视标注，适用于需要人机协作的任务。