[論文レビュー] Attention-based Dropout Layer for Weakly Supervised Object Localization

Junsuk Choe, Hyunjung Shim|arXiv (Cornell University)|Aug 27, 2019

Advanced Neural Network Applications参考文献 59被引用数 22

ひとこと要約

本論文は、弱教師付きオブジェクト検出（WSOL）のためのアテンションベースのドロップアウト層（ADL）を提案する。ADLは自己アテンションを用いて、学習中に最も特徴的な部分を動的に特定・抑制することで、モデルが物体の全体像を学習するよう促す。ADLはCUB-200-2011で最先端の性能を達成し、従来手法より15パーセンテージポイント以上の精度向上を達成するが、計算コストとパラメータの増加は最小限に抑えられる。

ABSTRACT

Weakly Supervised Object Localization (WSOL) techniques learn the object location only using image-level labels, without location annotations. A common limitation for these techniques is that they cover only the most discriminative part of the object, not the entire object. To address this problem, we propose an Attention-based Dropout Layer (ADL), which utilizes the self-attention mechanism to process the feature maps of the model. The proposed method is composed of two key components: 1) hiding the most discriminative part from the model for capturing the integral extent of object, and 2) highlighting the informative region for improving the recognition power of the model. Based on extensive experiments, we demonstrate that the proposed method is effective to improve the accuracy of WSOL, achieving a new state-of-the-art localization accuracy in CUB-200-2011 dataset. We also show that the proposed method is much more efficient in terms of both parameter and computation overheads than existing techniques.

研究の動機と目的

• オブジェクトの最も特徴的な部分にのみ注目するモデルの限界を是正すること。
• 複数回の順伝播や追加の分類器を必要とせず、モデルが特徴が弱いが重要な部分を学習するよう促す、軽量で効率的な手法を開発すること。
• 学習中に自己アテンションを用いて動的なドロップマスクと重要度マップを生成することで、局所化精度を向上させること。
• アーキテクチャの変更なしに、さまざまなCNNアーキテクチャに広く適用可能な方法を実現すること。

提案手法

• ADLは、入力特徴マップに対してチャネルごとの平均プーリングを適用し、チャネルごとの活性化強度を反映する自己アテンションマップを生成する。
• 自己アテンションマップから、閾値処理を用いてドロップマスクを生成し、学習中に最も特徴的な領域を特定・抑制する。
• 自己アテンションマップにシグモイド活性化関数を適用して重要度マップを生成し、情報量の多い領域を強調することで特徴表現を向上させる。
• 学習中は、ドロップマスクまたは重要度マップを確率的に選択し、空間的乗算により入力特徴マップに適用する。
• この手法は微分可能であり、追加の学習可能なパラメータを必要としないため、軽量で任意のCNNバックボーンと互換性がある。
• ADLは学習時のみに適用される。推論時にはモデルは標準的な分類器と同等に動作するため、既存のWSOLパイプラインへの容易な統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 自己アテンションを用いて、弱教師付き設定下で物体の最も特徴的な部分を動的に特定・抑制することは可能か？
• RQ2 学習可能なアテンションベースのマスクを用いて最も特徴的な領域を抑制することで、物体全体の局所化精度が向上するか？
• RQ3 従来の最先端手法と比較して、著しく低い計算コストとパラメータ量で最先端の性能を達成できるか？
• RQ4 同じアーキテクチャを用いても、CUB-200-2011ではImageNet-1kほど性能を発揮しないのはなぜか？

主な発見

• ADLはCUB-200-2011データセットで新たな最先端の局所化精度を達成し、従来手法より15パーセンテージポイント以上の性能向上を達成した。
• ImageNet-1kでは、ADLは現在の最先端手法[60]と同等の精度を達成したが、はるかに少ない計算リソースを要した。
• ResNet50-SEをバックボーンとして用いた場合、ADLはACoLを上回り、SPGと同等の精度を達成したが、はるかに少ない計算量を要した。
• 単一の順伝播・逆伝播と追加の学習可能なパラメータが不要なため、ADLは最小限のパラメータと計算コストで優れた効率性を維持した。
• InceptionV3を含むさまざまなバックボーンでも有効であり、ImageNet-1kではSPGとの差が0.11パーセンテージポイントにとどまった。
• ImageNet-1kにおける失敗事例は、ADLが物体と同時に出現する背景特徴を誤って学習してしまう可能性があることを示しており、これは特徴が弱いが頻繁に現れる背景要因による制限であると示唆している。