[論文レビュー] Combinational Class Activation Maps for Weakly Supervised Object Localization

Seunghan Yang, Yoonhyung Kim+2 more|arXiv (Cornell University)|Oct 12, 2019

Advanced Neural Network Applications参考文献 30被引用数 6

ひとこと要約

本稿では、予測信頼度で順序付けられた全クラスの活性化マップを組み合わせることで背景領域を抑制し、局所化精度を向上させる、弱教師付きオブジェクト検出法であるNon-Local Combinational Class Activation Maps (NL-CCAM) を提案する。低レベルおよび高レベルのネットワーク層に非局所モジュールを統合し、活性化マップの線形結合を用いることで、ILSVRC 2016およびCUB-200-2011で最先端の性能を達成し、CUB-200-2011ではTop-1誤差を47.60%まで低減した。

ABSTRACT

Weakly supervised object localization has recently attracted attention since it aims to identify both class labels and locations of objects by using image-level labels. Most previous methods utilize the activation map corresponding to the highest activation source. Exploiting only one activation map of the highest probability class is often biased into limited regions or sometimes even highlights background regions. To resolve these limitations, we propose to use activation maps, named combinational class activation maps (CCAM), which are linear combinations of activation maps from the highest to the lowest probability class. By using CCAM for localization, we suppress background regions to help highlighting foreground objects more accurately. In addition, we design the network architecture to consider spatial relationships for localizing relevant object regions. Specifically, we integrate non-local modules into an existing base network at both low- and high-level layers. Our final model, named non-local combinational class activation maps (NL-CCAM), obtains superior performance compared to previous methods on representative object localization benchmarks including ILSVRC 2016 and CUB-200-2011. Furthermore, we show that the proposed method has a great capability of generalization by visualizing other datasets.

研究の動機と目的

• 従来の弱教師付きオブジェクト検出手法が、しばしば特徴的な部分や背景領域を強調する最高活性化クラスのマップに依存しているという限界を解消すること。
• 全クラスの活性化マップを予測信頼度で順序付け、線形結合によって背景領域を抑制し、物体全体の領域を強調することで、局所化精度を向上させること。
• 長距離の空間的依存関係をモデル化するため、低レベルおよび高レベルの層に非局所モジュールを統合することで特徴表現を強化すること。
• ボクセルボックスアノテーションを一切必要とせず、標準ベンチマークで優れた性能を達成すること。

提案手法

• 最高確率から最低確率のクラスまでの活性化マップを線形結合する、組み合わせ的クラス活性化マップ（CCAM）を提案。背景領域の抑制と物体全体の強調を実現。
• クラス信頼度に基づいて活性化マップに重みを付ける組み合わせ関数を採用。実証的分析により、トップ1およびボトム1のマップが優れた性能を示すことが判明。
• 長距離の空間的およびチャネル的関係を捉えるために、低レベル（初期特徴マップ）および高レベル（深層特徴）の両層に非局所ブロックを統合。
• エッジ／テクスチャの詳細（低レベル）と意味的文脈（高レベル）を活用するマルチスケール特徴統合戦略を採用し、頑健な局所化を実現。
• 微分可能な組み合わせ関数を適用し、物体の部位を強調しつつ背景活性化を最小限に抑えた最終的な局所化マップを生成。
• ボクセルボックスアノテーションを一切不要とし、画像ラベルのみを用いてエンドツーエンドでモデルを訓練。

実験結果

リサーチクエスチョン

• RQ1 最高クラスのマップだけでなく、全クラスの活性化マップを組み合わせることで、背景抑制と局所化精度が向上するか？
• RQ2 低レベルおよび高レベルの両層に非局所モジュールを組み込むことで、特徴表現および局所化性能にどのような影響を与えるか？
• RQ3 異なる信頼度レベルの活性化マップを統合する最適な組み合わせ関数は何か？ これを最適化することで局所化精度を最大限に高められるか？
• RQ4 提案手法は、オブジェクトの複雑さやクラス間類似度が異なる多様なデータセットにも一般化可能か？

主な発見

• NL-CCAMはCUB-200-2011データセットでTop-1誤差47.60%を達成し、従来の最先端手法を上回った。
• トップ1およびボトム1の活性化マップ（top-1 & bottom-1）のみを用いる場合、ILSVRC 2016でTop-1誤差49.83%を達成し、従来のSOTAを0.63%改善した。
• アブレーションスタディにより、低レベルおよび高レベルの両層に非局所モジュールを適用することで、片方のレベルでの適用と比較し、Top-1誤差が約5%低減された。
• CCAM単体を用いることで、ベースラインから7.91%の性能向上が達成され、背景抑制の有効性が裏付けられた。
• CUB-200-2011では、鳥種間の類似度が高いため、多項式関数（例：2次、3次）による組み合わせが優れた結果を示したが、ILSVRC 2016では単純な関数がより効果的であった。
• 可視化結果から、高信頼度マップは物体の部位を強調するが、低信頼度マップは背景を強調する傾向がある。両者の組み合わせにより、背景が効果的に抑制され、物体全体の領域が捉えられた。