[論文レビュー] Re-Attention Transformer for Weakly Supervised Object Localization

Hui Su, Ye Yue+3 more|arXiv (Cornell University)|Aug 3, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

本稿では、クラスアクティベーションマップを用いて背景ノイズを低減させ、注意マップを精錬することで弱教師ありオブジェクト検出を向上させる再注意メカニズムであるToken Refinement Transformer (TRT)を提案する。TRTは、トークン優先スコアリングモジュール (TPSM) と適応的しきい値処理を導入し、ILSVRCおよびCUB-200-2011ベンチマークでそれぞれ82.08%および91.1%の検出精度を達成し、最先端性能を実現した。

ABSTRACT

Weakly supervised object localization is a challenging task which aims to localize objects with coarse annotations such as image categories. Existing deep network approaches are mainly based on class activation map, which focuses on highlighting discriminative local region while ignoring the full object. In addition, the emerging transformer-based techniques constantly put a lot of emphasis on the backdrop that impedes the ability to identify complete objects. To address these issues, we present a re-attention mechanism termed token refinement transformer (TRT) that captures the object-level semantics to guide the localization well. Specifically, TRT introduces a novel module named token priority scoring module (TPSM) to suppress the effects of background noise while focusing on the target object. Then, we incorporate the class activation map as the semantically aware input to restrain the attention map to the target object. Extensive experiments on two benchmarks showcase the superiority of our proposed method against existing methods with image category annotations. Source code is available in \url{https://github.com/su-hui-zz/ReAttentionTransformer}.

研究の動機と目的

• 弱教師あり条件下で、判別的部分ではなく完全なオブジェクトを正しく局在化できない既存手法の限界を是正すること。
• ビジョントランスフォーマーにおいて、グローバル自己注意機構のため、関係のない領域に注目してしまう背景干渉を低減すること。
• 注意マップの精錬にクラスアクティベーションマップ (CAM) を意味的ガイドとして統合することで、局在化精度を向上させること。
• トップ-Kや固定しきい値処理よりも優れた、注意マップ内の関連トークンを選択するための新しいしきい値戦略を開発すること。

提案手法

• オブジェクトレベルの意味情報を用いて注意マップを精錬する再注意メカニズムとして、Token Refinement Transformer (TRT) を提案する。
• トークンの応答強度と背景抑制に基づき、注意マップのトークンを再スコアリングするためのToken Priority Scoring Module (TPSM) を導入する。
• クラスアクティベーションマップ (CAM) を意味的認識可能な入力として用い、注意マップがターゲットオブジェクトに集中するように制約する。
• 累積分布関数サンプリングに基づく適応的しきい値処理を採用し、重要度の高いトークンを選択する。これにより、固定しきい値やトップ-K戦略を上回る性能を発揮する。
• ビジョントランスフォーマーベース (例：DeiT) に再注意ブロックを組み込み、局在化の前段階で特徴表現を精錬する。
• 画像ラベルのみを用いてエンドツーエンドに学習し、ボクセル境界のアノテーションを一切使用せずに、注意マップを用いてバウンディングボックスを予測する。

実験結果

リサーチクエスチョン

• RQ1 再注意メカニズムにより、ビジョントランスフォーマーにおける背景ノイズを低減させ、注意マップを精錬することで、オブジェクト局在化が向上するか？
• RQ2 クラスアクティベーションマップを意味的ガイドとして統合することで、弱教師あり局在化における注意マップの質はどのように変化するか？
• RQ3 累積重要度サンプリングに基づく適応的しきい値処理は、標準的なトップ-Kや固定しきい値戦略に比べて、トークン選択において優れているか？
• RQ4 提案されたTRTフレームワークは、ILSVRC や CUB-200-2011 といった標準ベンチマークで、どの程度局在化精度が向上するか？
• RQ5 TRTフレームワークは、従来の手法と比較して、より大きなビジョントランスフォーマーベース（例：DeiT-B）を効果的に活用できるか？

主な発見

• ILSVRCベンチマークにおいてTRTは82.08%の局在化精度を達成し、先行SOTA手法を上回った。
• CUB-200-2011データセットでは、TRTは91.1%のGt-Known局在化精度を達成し、前回SOTAの86.6%から顕著な向上を示した。
• 累積分布関数サンプリングに基づく提案された適応的しきい値処理は、トップ-Kや固定しきい値手法よりも優れた性能を発揮した。
• アブレーションスタディの結果、TPSMモジュールと適応的しきい値処理の両方が性能向上に不可欠であることが確認され、定性的な結果ではより鋭くオブジェクトに焦点を当てた注意マップが得られた。
• TRTはDeiT-Bのような大きなバックボーンでも強力な性能を維持したが、一部の先行手法とは異なり、DeiT-Sと比較してDeiT-Bで性能が低下しなかった。
• 可視化結果から、TRTはCAMベースや標準トランスフォーマー手法と比較して、より一貫性があり、オブジェクトに整合した注意マップを生成することがわかった。