[論文レビュー] Informative Class Activation Maps

Zhenyue Qin, Dongwoo Kim+1 more|arXiv (Cornell University)|Jun 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 12被引用数 4

ひとこと要約

本稿では、情報理論を活用して分類に最も情報を与える画像領域を特定する新規手法である情報的クラス活性化マップ（infoCAM）を提案する。この手法は、真のラベルと他のラベルとの間のポイントワイズ相互情報量（PMI）差を最大化することで、分類に寄与する最も有用な領域を特定する。infoCAMは弱教師付きオブジェクト検出において従来のCAMよりも優れており、Tiny-ImageNetで最先端の性能を達成している。また、最も活性化された領域だけでなく、判別性の高い特徴に注目することで、より正確でオブジェクト中心の局在マップを生成する。

ABSTRACT

We study how to evaluate the quantitative information content of a region within an image for a particular label. To this end, we bridge class activation maps with information theory. We develop an informative class activation map (infoCAM). Given a classification task, infoCAM depict how to accumulate information of partial regions to that of the entire image toward a label. Thus, we can utilise infoCAM to locate the most informative features for a label. When applied to an image classification task, infoCAM performs better than the traditional classification map in the weakly supervised object localisation task. We achieve state-of-the-art results on Tiny-ImageNet.

研究の動機と目的

• 与えられたラベルに対する画像領域の情報含量を定量化するため、情報理論を用いてクラス活性化マップを形式化すること。
• 従来のCAMが非判別的または部分的な特徴に注目してしまうという限界を克服し、真のラベルとの相互情報量が最大となる領域を同定すること。
• より正確で完全なオブジェクトバウンディングボックスを生成することで、弱教師付きオブジェクト検出（WSOL）を改善すること。
• CNN分類器を相互情報量の評価者としての理論的再解釈を提供し、モデルの解釈可能性を向上させること。

提案手法

• infoCAMは、真のラベルと他のすべてのラベルとの間のポイントワイズ相互情報量（PMI）の差に基づいて、領域固有の強度スコアを計算する。
• infoCAM強度の核心的式は $ M_{y}^{ ext{Diff}}(R) = \sum_{(a,b)\in R} w^{y}g(a,b) - \frac{1}{M-1}\sum_{y'\neq y} w^{y'}g(a,b) $ であり、真のクラスを他のラベルよりも強く支持する領域を強調する。
• この手法はCNNの最終畳み込み特徴マップを使用し、高い情報量を持つ領域を特定するためにしきい値を適用してバウンディングボックスを生成する。
• infoCAM+は、真のラベルと最も確率が低いラベルにのみ注目することで計算を簡略化し、複雑さを低減しながらも性能を維持する。
• バウンディングボックスは、infoCAMマップでしきい値を超える最大の連結領域を特定し、元の画像解像度に拡大することで形成される。
• 本手法は、CUB-200-2011やTiny-ImageNetを含む標準的なWSOLベンチマークで評価され、10進数MNISTを用いたマルチラベル局在化におけるアブレーションスタディも実施されている。

実験結果

リサーチクエスチョン

• RQ1 情報理論的原則を用いることで、弱教師付きオブジェクト検出におけるクラス活性化マップの解釈可能性と正確性を向上させることができるか？
• RQ2 真のラベルと他のラベルとの間のPMI差は、標準CAMよりも判別性の高い画像領域をどのように特定するのか？
• RQ3 infoCAMは、オブジェクトの一部や判別性の低い部分にのみ注目するCAMとは異なり、より完全で正確なオブジェクト局在化を実現するのか？
• RQ4 infoCAMは、Tiny-ImageNetのような小さな画像サイズを持つデータセットや、さまざまなネットワークアーキテクチャに一般化可能か？
• RQ5 複数のオブジェクトが1枚の画像に存在するマルチラベル局在化タスクにおいて、infoCAMはどのように性能を発揮するのか？

主な発見

• infoCAMは、弱教師付きオブジェクト検出においてTiny-ImageNetデータセットで最先端の性能を達成し、従来のCAMを上回っている。
• CUB-200-2011においても、複数のバックボーンネットワークで標準CAMよりも局在化精度が向上し、一貫した向上効果を示している。
• マルチラベル10進数MNIST実験では、局在化精度がCAMの91%からinfoCAMの98%に向上し、複雑な局在化シナリオでも優れた性能を発揮している。
• 可視化結果から、infoCAMはオブジェクト全体（例：鳥の体）を強調するのに対し、CAMはしばしば部分的または判別性の低い部分（例：鳥の頭）に注目していることが確認された。
• infoCAM+は、計算コストを低減しながらinfoCAMと同等の性能を達成しており、実世界の展開に向けた実用的代替手段である。
• ADL（敵対的蒸留損失）の使用はCUB-200-2011では性能を向上させるが、Tiny-ImageNetでは結果を劣化させることがあり、画像サイズや構造に敏感であることが示唆された。