[論文レビュー] Learning Deep Features for Discriminative Localization

Bolei Zhou, Aditya Khosla+3 more|arXiv (Cornell University)|Dec 14, 2015

Advanced Neural Network Applications参考文献 28被引用数 206

ひとこと要約

この論文は、画像レベルのラベルで学習された畳み込みニューラルネットワーク（CNN）が、グローバル平均プーリング（GAP）を用いて弱教師ありオブジェクト検出を実現するためのクラス活性マッピング（CAM）を導入する。GAPとクラス固有のソフトマックス重みを活用することで、1回の順伝播処理でクラス判別性のある局所化マップを生成する。ILSVRC 2014で37.1%のトップ5誤差を達成し、完全に教師ありの手法と非常に近い性能を示しており、境界ボックスのアノテーションが不要であるにもかかわらず、深層特徴が解釈可能かつ多様なタスクに転送可能であることを示している。

ABSTRACT

In this work, we revisit the global average pooling layer proposed in [13], and shed light on how it explicitly enables the convolutional neural network to have remarkable localization ability despite being trained on image-level labels. While this technique was previously proposed as a means for regularizing training, we find that it actually builds a generic localizable deep representation that can be applied to a variety of tasks. Despite the apparent simplicity of global average pooling, we are able to achieve 37.1% top-5 error for object localization on ILSVRC 2014, which is remarkably close to the 34.2% top-5 error achieved by a fully supervised CNN approach. We demonstrate that our network is able to localize the discriminative image regions on a variety of tasks despite not being trained for them

研究の動機と目的

• 画像レベルのラベルで学習されたCNNが、境界ボックスアノテーションなしで判別性の高い画像領域を局所化できるようにすること。
• グローバル平均プーリング（GAP）が正則化を超えて、深層ネットワークにおける局所化能力を保持・強化できるかどうかを調査すること。
• 得られた深層特徴が多様な視覚認識タスクに一般化可能で汎用的であることを示すこと。
• クラス活性マップ（CAM）を用いてクラス固有の特徴を解釈可能な可視化で提示し、CNNの意思決定プロセスをよりよく理解すること。

提案手法

• 空間的特徴マップを保持し、局所化を可能にするために、全結合層をグローバル平均プーリング（GAP）に置き換える。
• 最終畳み込み層の特徴マップとそれに対応するクラス固有のソフトマックス重みを用いて、クラス活性マップ（CAM）を生成する。
• 学習済み分類器の重みを用いて特徴マップの重み付き和を計算し、クラス判別性のあるヒートマップを生成する。
• 標準的な画像分類損失関数を用いてネットワークをエンドツーエンドで学習させ、1回の順伝播処理で局所化を実現する。
• CAMの可視化を活用して、分類に最も寄与している画像領域を解釈可能に特定する。
• 学習された局所化可能な特徴を、アクション認識、シーン分類、コンセプト発見などのゼロショットタスクに転送する。

実験結果

リサーチクエスチョン

• RQ1 画像レベルのラベルでの学習のみで、境界ボックスの監視なしにCNNが判別性の高いオブジェクト領域を局所化できるか？
• RQ2 グローバル平均プーリング（GAP）は、グローバルマックスプールや全結合層と比較して、局所化能力をどのように維持・向上させるか？
• RQ3 分類タスクで学習したCNNの局所化能力が、そのタスクに明示的に訓練されていないタスクへどの程度一般化できるか？
• RQ4 クラス活性マップ（CAM）は、ネットワークが分類に使用した判別性のある領域を効果的に可視化・解釈できるか？
• RQ5 弱教師あり設定において、平均プーリングを用いることで、マックスプーリングと比較して局所化精度がどのように向上するか？

主な発見

• 提案手法のCAMは、ILSVRC 2014の弱教師ありオブジェクト検出ベンチマークで37.1%のトップ5誤差を達成し、完全に教師ありのAlexNetの34.2%と非常に近い性能を示した。
• グローバル平均プーリングにより、全結合層が空間情報を破壊するのとは異なり、最終層を経ても局所化能力を保持できる。
• この手法は、ネットワークがそのタスクで訓練されていなくても、アクション認識やテキスト検出などのタスクで判別性のある領域を局所化できた。
• クラス活性マップは、歯ブラシが歯を磨く動作に含まれるなど、意味的に意味のある領域を境界ボックスアノテーションなしで効果的に強調した。
• この手法により、深層CNNにおけるクラス固有のユニットの可視化が可能となり、例えばシーン認識における犬の顔やソファーの特徴マップが、どの程度判別性があるかを明らかにした。
• この技術はゼロショット応用にも一般化可能であり、視覚的質問応答（VQA）においても、予測された答えに関連する画像領域をCAMが効果的に強調した。