[論文レビュー] A Simple Interpretable Transformer for Fine-Grained Image Classification and Analysis

Dipanjyoti Paul, Arpita Chowdhury+12 more|arXiv (Cornell University)|Nov 7, 2023

Cell Image Analysis Techniques被引用数 5

ひとこと要約

この論文では、クラス固有のクエリをデコーダーに用いてクロスアテンションにより特徴的な画像属性を局所化する、シンプルで解釈可能なTransformerモデルINTRを提案する。1クラスあたり1つのクエリを学習することで、予測の忠実でアテンションベースの解釈が可能となり、8つの細分化画像分類データセットで最先端の性能を達成するとともに、生物学的観察と一致する微細な視覚的パターンを明らかにする。

ABSTRACT

We present a novel usage of Transformers to make image classification interpretable. Unlike mainstream classifiers that wait until the last fully connected layer to incorporate class information to make predictions, we investigate a proactive approach, asking each class to search for itself in an image. We realize this idea via a Transformer encoder-decoder inspired by DEtection TRansformer (DETR). We learn "class-specific" queries (one for each class) as input to the decoder, enabling each class to localize its patterns in an image via cross-attention. We name our approach INterpretable TRansformer (INTR), which is fairly easy to implement and exhibits several compelling properties. We show that INTR intrinsically encourages each class to attend distinctively; the cross-attention weights thus provide a faithful interpretation of the prediction. Interestingly, via "multi-head" cross-attention, INTR could identify different "attributes" of a class, making it particularly suitable for fine-grained classification and analysis, which we demonstrate on eight datasets. Our code and pre-trained models are publicly accessible at the Imageomics Institute GitHub site: https://github.com/Imageomics/INTR.

研究の動機と目的

• 画像分類における標準的なディープラーニングモデルに内在する解釈不能性の問題に対処すること。
• 後処理によるアテンション解釈に頼るのではなく、モデルが能動的に画像内のクラス固有のパターンを探索できるようにすること。
• 補助的监督や複雑な訓練を用いずに、自然に忠実でクラス固有のアテンションマップを生成する手法を開発すること。
• 多様な細分化視覚認識タスクにおけるモデルの解釈可能性と一般化性能を検証すること。
• 多ヘッドクロスアテンションが視覚的に類似したクラス間で異なる特徴を一貫して特定できるかどうかを示すこと。

提案手法

• モデルは入力画像のパッチごとの特徴を抽出するために標準的なビジョンTransformerエンコーダーを用いる。
• 1クラスあたり1つの学習可能なクラス固有クエリを備えたデコーダーを導入し、これをデコーダーの入力として供給する。
• クラス固有クエリと画像特徴の間のクロスアテンションにより、各クラスが画像内の自らの特徴的なパターンに注目できる。
• デコーダー内での自己アテンションにより、候補となるクラス間の文脈的関係が符号化され、識別を支援する。
• 最終的な予測は、クロスアテンションによって得られたクラス固有の画像特徴と共有のクラスに依存しないベクトルとのドット積を比較することで行われる。
• モデルは標準的なクロスエントロピー損失を用いてエンドツーエンドに訓練され、推論時にはクロスアテンション重みから直接解釈が得られる。

実験結果

リサーチクエスチョン

• RQ1 各クラスが自らの視覚的パターンを探索できるように設計されたTransformerベースのモデルは、予測を内生的に解釈可能にできるか？
• RQ2 デコーダーにおけるクラス固有クエリの使用は、特徴的な属性を強調する忠実で解釈可能なクロスアテンションマップをもたらすか？
• RQ3 多ヘッドクロスアテンションは、画像間で一貫してクラスの異なる意味的特徴を局所化できるか？
• RQ4 モデルは細分化画像分類タスク、特に視覚的に類似したクラスを区別する際の性能はいかがなっているか？
• RQ5 モデルのアテンションは、属性レベルの画像操作に対してどの程度感受性を示すか？

主な発見

• INTRは、CUB-200-2011、Stanford Dogs、FGVC-Aircraftを含む8つの細分化画像分類ベンチマークで最先端または競争力ある正確性を達成した。
• INTRが生成するクロスアテンションマップは、常に眼の模様、羽の模様、 beak の形状といった判別的特徴を一貫して局所化した。
• 視覚的に類似した種、例えば Heliconius melpomene と Heliconius elevatus に対してテストしたところ、生物学的アノテーションと一致する微細な差を局所化した。
• 属性レベルの画像操作に対して高い感受性を示した：重要な属性を削除または追加すると、アテンションマップに顕著な変化が生じ、アテンションが視覚的意味に根ざしていることを確認した。
• 入力クエリを視覚的に類似したクラスに限定することで、INTRは微細な差の検出能力を向上させた。これは文脈に依存するアテンション学習が可能であることを示唆している。
• 数学的分析により、クロスエントロピー損失の最小化がクラスごとに異なるクロスアテンションパターンを促進することを確認した。これにより、特別な設計を施さずに忠実な解釈が保証される。