[論文レビュー] A Novel Global Spatial Attention Mechanism in Convolutional Neural Network for Medical Image Classification

Linchuan Xu, Jun Huang+3 more|arXiv (Cornell University)|Jul 31, 2020

COVID-19 diagnosis using AI参考文献 31被引用数 11

ひとこと要約

本論文は、画素強度分布に基づいて重要なピクセルと重要でないピクセルを区別するバイナリ分類器を用いて、データセット内のすべての画像にわたって1つの共有重みマップを学習する、医療画像分類のための画期的なグローバル空間的アテンションメカニズムを提案する。この手法は、過学習を低減し、構造的に一貫した領域を強調することで、複数のCNNアーキテクチャ（GoogleNet、VGG、ResNet、DenseNet）における医療および顔の表情データセットの性能と解釈可能性を向上させる。

ABSTRACT

Spatial attention has been introduced to convolutional neural networks (CNNs) for improving both their performance and interpretability in visual tasks including image classification. The essence of the spatial attention is to learn a weight map which represents the relative importance of activations within the same layer or channel. All existing attention mechanisms are local attentions in the sense that weight maps are image-specific. However, in the medical field, there are cases that all the images should share the same weight map because the set of images record the same kind of symptom related to the same object and thereby share the same structural content. In this paper, we thus propose a novel global spatial attention mechanism in CNNs mainly for medical image classification. The global weight map is instantiated by a decision boundary between important pixels and unimportant pixels. And we propose to realize the decision boundary by a binary classifier in which the intensities of all images at a pixel are the features of the pixel. The binary classification is integrated into an image classification CNN and is to be optimized together with the CNN. Experiments on two medical image datasets and one facial expression dataset showed that with the proposed attention, not only the performance of four powerful CNNs which are GoogleNet, VGG, ResNet, and DenseNet can be improved, but also meaningful attended regions can be obtained, which is beneficial for understanding the content of images of a domain.

研究の動機と目的

• 小規模な医療画像データセットにおけるローカルアテンションメカニズムの限界に対処する。特に、画像固有のアテンションマップが過学習を引き起こし、解釈が一貫しない問題を改善する。
• すべての画像にわたって1つの重みマップを共有するグローバル空間的アテンションメカニズムを構築し、共通の解剖学的または病理的パターンを反映させる。
• データ駆動型で埋め込み型のアプローチを通じて、エンドツーエンドでピクセルの重要度を学習することで、CNNの医療画像分類における性能と解釈可能性を向上させる。
• GoogleNet、VGG、ResNet、DenseNetなどの多様なCNNアーキテクチャおよびデータセット（医療画像および顔の表情画像を含む）にわたる一般化可能性を実証する。

提案手法

• グローバルアテンションメカニズムは、重要なピクセルと重要でないピクセルの意思決定境界をモデル化することで、すべての入力画像に対して1つの共有重みマップを学習する。
• 各空間的位置におけるすべての画像の画素強度を特徴量として用い、そのピクセルが分類に重要かどうかを判断するバイナリ分類器を構築する。
• バイナリ分類器はCNNアーキテクチャに統合され、エンドツーエンドの学習中に主分類ネットワークと同時に最適化される。
• 大多数の既存のローカルアテンションメカニズムが隠れ層に適用されるのに対し、本手法は入力層に直接作用する。
• 本手法は汎用的であり、アーキテクチャの変更なしに任意のCNNアーキテクチャに統合可能である。
• アテンションメカニズムは、事前定義された指標ではなく、データ駆動型のパターンに基づいてピクセルの重要度を学習する埋め込み型特徴選択手法として実装される。

実験結果

リサーチクエスチョン

• RQ1 ローカルアテンションメカニズムと比較して、1つのグローバルアテンションマップが小規模な医療画像データセットにおける分類性能を向上させるか。
• RQ2 データ駆動型のグローバル空間的アテンションメカニズムは、構造的内容が類似した画像間でより一貫性があり、解釈可能な注目領域をもたらすか。
• RQ3 提案されたアテンションメカニズムは、GoogleNet、VGG、ResNet、DenseNetなどの多様なCNNアーキテクチャに効果的に統合可能か。
• RQ4 過学習と性能の観点から、グローバルアテンションメカニズムは従来のローカルアテンションや他の特徴選択手法と比較して優れているか。

主な発見

• 提案されたグローバル空間的アテンションメカニズムは、2つの医療画像データセットにおいて、テストされた4つのCNN（GoogleNet、VGG、ResNet、DenseNet）の分類性能を顕著に向上させた。
• すべての画像に1つのアテンションマップを共有することで、特に小規模な医療データセットにおいて過学習が低減された。
• 注目領域は一貫して強調され、分野の知識と整合する意味のある構造的整合性のあるパターンが明らかになった。
• 微細な強度変動があっても、同じ領域が強調されるため、ローカルアテンションメカニズムよりも解釈性に優れた結果が得られた。
• 本手法は顔の表情データセットに対しても有効であり、他の構造的画像ドメインへの適用可能性を確認した。
• CNNとバイナリ分類器をエンドツーエンドで学習させたことで、外部の分野知識や事前処理を必要とせず、データから直接ピクセルの重要度を学習できるようになった。