[论文解读] A Novel Global Spatial Attention Mechanism in Convolutional Neural Network for Medical Image Classification

Linchuan Xu, Jun Huang+3 more|arXiv (Cornell University)|Jul 31, 2020

COVID-19 diagnosis using AI参考文献 31被引用 11

一句话总结

本文提出了一种用于医学图像分类的新型全局空间注意力机制，通过二分类器基于像素强度分布区分重要与不重要的像素，学习数据集中所有图像共享的单一权重图。该方法在多个CNN架构（GoogleNet、VGG、ResNet、DenseNet）的医学图像和面部表情数据集上提升了性能与可解释性，通过减少过拟合并突出显示结构一致的区域。

ABSTRACT

Spatial attention has been introduced to convolutional neural networks (CNNs) for improving both their performance and interpretability in visual tasks including image classification. The essence of the spatial attention is to learn a weight map which represents the relative importance of activations within the same layer or channel. All existing attention mechanisms are local attentions in the sense that weight maps are image-specific. However, in the medical field, there are cases that all the images should share the same weight map because the set of images record the same kind of symptom related to the same object and thereby share the same structural content. In this paper, we thus propose a novel global spatial attention mechanism in CNNs mainly for medical image classification. The global weight map is instantiated by a decision boundary between important pixels and unimportant pixels. And we propose to realize the decision boundary by a binary classifier in which the intensities of all images at a pixel are the features of the pixel. The binary classification is integrated into an image classification CNN and is to be optimized together with the CNN. Experiments on two medical image datasets and one facial expression dataset showed that with the proposed attention, not only the performance of four powerful CNNs which are GoogleNet, VGG, ResNet, and DenseNet can be improved, but also meaningful attended regions can be obtained, which is beneficial for understanding the content of images of a domain.

研究动机与目标

• 解决小规模医学图像数据集中局部注意力机制的局限性，其中图像特定的注意力图可能导致过拟合和解释不一致。
• 开发一种全局空间注意力机制，使所有图像共享单一权重图，以反映共同的解剖或病理模式。
• 通过端到端学习像素重要性并采用数据驱动的嵌入方法，提升CNN在医学图像分类中的性能与可解释性。
• 证明该方法在多种CNN架构和数据集（包括医学图像和面部表情图像）中的泛化能力。

提出的方法

• 该全局注意力机制通过建模重要与不重要像素之间的决策边界，为所有输入图像学习单一共享的权重图。
• 将所有图像在每个空间位置的像素强度用作二分类器的特征，以判断像素是否对分类重要。
• 将二分类器集成到CNN架构中，并与主分类网络在端到端训练过程中联合优化。
• 该方法直接作用于输入层，与大多数现有局部注意力机制作用于隐藏层不同。
• 该方法具有通用性，可无缝集成到任何CNN架构中，无需修改网络结构。
• 注意力机制作为嵌入式特征选择方法实现，基于数据驱动的模式学习像素重要性，而非预定义指标。

实验结果

研究问题

• RQ1 与局部注意力机制相比，单一全局注意力图是否能在小规模医学图像数据集中提升分类性能？
• RQ2 数据驱动的全局空间注意力机制是否能带来更一致且可解释的注意力区域，尤其在具有相似结构内容的图像中？
• RQ3 所提出的注意力机制能否有效集成到GoogleNet、VGG、ResNet和DenseNet等多样化CNN架构中？
• RQ4 在过拟合和性能方面，该全局注意力机制与传统局部注意力及其他特征选择方法相比表现如何？

主要发现

• 所提出的全局空间注意力机制显著提升了在两个医学图像数据集上测试的四种CNN模型（GoogleNet、VGG、ResNet和DenseNet）的分类性能。
• 通过在所有图像间共享单一注意力图，该方法减少了过拟合，尤其在小规模医学数据集中具有显著优势。
• 注意力区域在图像间保持一致地被突出显示，揭示了与领域知识一致的有意义且结构连贯的模式。
• 该方法在可解释性方面优于局部注意力机制，即使在像素强度存在微小变化的情况下，相同区域仍被一致强调。
• 该方法在面部表情数据集上也表现出色，证实其在其他结构化图像领域的适用性。
• 将二分类器与CNN进行端到端联合训练，使模型能够直接从数据中学习像素重要性，无需外部领域知识或预处理。