[論文レビュー] Guided Zoom: Questioning Network Evidence for Fine-grained Classification

Sarah Adel Bargal, Andrea Zunino+5 more|arXiv (Cornell University)|Dec 6, 2018

Explainable Artificial Intelligence (XAI)参考文献 37被引用数 15

ひとこと要約

Guided Zoom は、空間的証拠の整合性を用いてトップ-k予測を精錬することで、細分類画像分類を向上させ、モデルの意思決定を訓練データと整合させる。テスト時の証拠を正しく分類された訓練例のリファレンスプールと比較することで、CUB-200-2011、Stanford Dogs、FGVC-Aircraftで最先端の精度を達成する。

ABSTRACT

We propose Guided Zoom, an approach that utilizes spatial grounding of a model's decision to make more informed predictions. It does so by making sure the model has "the right reasons" for a prediction, defined as reasons that are coherent with those used to make similar correct decisions at training time. The reason/evidence upon which a deep convolutional neural network makes a prediction is defined to be the spatial grounding, in the pixel space, for a specific class conditional probability in the model output. Guided Zoom examines how reasonable such evidence is for each of the top-k predicted classes, rather than solely trusting the top-1 prediction. We show that Guided Zoom improves the classification accuracy of a deep convolutional neural network model and obtains state-of-the-art results on three fine-grained classification benchmark datasets.

研究の動機と目的

• 微細分類において、微細な視覚的差異がモデルの誤りを引き起こしやすい状況において、深層畳み込みニューラルネットワーク（CNN）の予測の信頼性を向上させること。
• データセットバイアスやアーチファクトの影響を受ける可能性があるトップ-1予測に依存するのを回避すること。
• 予測のための視覚的証拠（空間的グランドイング）が、正しく分類された訓練例のそれと整合しているかどうかを評価することで、分類精度を向上させること。
• 部位アノテーションや注目モジュールを必要としない汎用的で、後処理型のフレームワークを開発し、あらゆる事前学習済みCNNを向上させること。
• 学習済みの証拠CNNモジュールを用いて、トップ-k予測クラス間の証拠整合性を比較することで意思決定を精錬すること。

提案手法

• 証拠を、モデル出力におけるクラスの条件付き確率に対応する空間的に局所化された活性化マップ（ピクセル空間上）として定義する。
• 反復的で敵対的な消去法を用いて、正しく分類された訓練画像から（証拠、予測）ペアのリファレンスプールを構築する。
• テスト画像の証拠とリファレンスプール内の証拠との整合性を測るため、証拠CNNを訓練する。
• 証拠CNNの出力を用いて、訓練リファレンスプールに対して最も整合性の高い証拠を持つトップ-kクラスを選択することで、最終予測を精錬する。
• あらゆる事前学習済みCNNにテスト時にフレームワークを適用し、再訓練やアーキテクチャの変更なしに意思決定を精錬可能にする。
• 複数のトップ-kクラスに対して証拠を抽出・評価するマルチズームを活用することで、単一ズームアプローチに比べてより高い耐障害性を実現する。

実験結果

リサーチクエスチョン

• RQ1 トップ-1予測を信頼するのではなく、モデルの視覚的証拠の妥当性を検証することで、微細分類の精度を向上させられるか？
• RQ2 訓練データとの証拠の整合性が、微細認識タスクにおける予測の信頼性にどのように影響するか？
• RQ3 部位アノテーションや注目モジュールを必要としない汎用的で後処理型のフレームワークは、あらゆる事前学習済みCNNを向上させられるか？
• RQ4 トップ-kクラス間の証拠整合性を用いて予測を精錬することは、標準的なトップ-1推論を上回るか？
• RQ5 局所化された証拠に対してマルチズームを適用することで、単一ズームや注目ベースの手法と比較して、性能がどの程度向上するか？

主な発見

• CUB-200-2011では、トップ-3予測を用いることでトップ-1精度を82.3％から85.0％へ、トップ-5予測を用いることで85.4％へ向上させる。
• Stanford Dogsでは、トップ-3予測を用いることでトップ-1精度を86.9％から88.4％へ、トップ-5予測を用いることで88.5％へ向上させる。
• FGVC-Aircraftでは、トップ-3またはトップ-5予測を用いることでトップ-1精度を87.5％から89.1％へ向上させる。
• MA-CNNモデルに適用した場合、FGVC-Aircraftでトップ-1精度90.7％を達成し、新たな最先端の記録を樹立する。
• CUB-200-2011、Stanford Dogs、FGVC-Aircraftのすべてのベンチマークデータセットで、RA-CNNや他の弱教師あり手法を上回り、マルチズームと証拠整合性の利点を示す。
• このフレームワークは汎用的で、注目モジュールを用いて訓練されていないモデルに対しても有効であり、広範な適用可能性と耐障害性を示している。