[論文レビュー] Constrained Sampling for Class-Agnostic Weakly Supervised Object Localization

Shakeeb Murtaza, Soufiane Belharbi+3 more|arXiv (Cornell University)|Sep 9, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、自己教師ありビジョン Transformer を用いて高解像度でしきい値フリーの疑似ラベルを生成することで、弱教師ありオブジェクト検出のためのクラスに依存しない制約付きサンプリング手法を提案する。[cls]トークンからのアテンションマップを活用し、Otsuのしきい値処理を適用して複数のオブジェクト候補を選択することで、正確な前景および背景マスクを生成し、交差エントロピー損失を用いたエンドツーエンド学習を可能にし、CUB-200-2011で90.9%のMaxBoxAccV2平均スコアを達成し、最先端の性能を実現した。

ABSTRACT

Self-supervised vision transformers can generate accurate localization maps of the objects in an image. However, since they decompose the scene into multiple maps containing various objects, and they do not rely on any explicit supervisory signal, they cannot distinguish between the object of interest from other objects, as required in weakly-supervised object localization (WSOL). To address this issue, we propose leveraging the multiple maps generated by the different transformer heads to acquire pseudo-labels for training a WSOL model. In particular, a new discriminative proposals sampling method is introduced that relies on a pretrained CNN classifier to identify discriminative regions. Then, foreground and background pixels are sampled from these regions in order to train a WSOL model for generating activation maps that can accurately localize objects belonging to a specific class. Empirical results on the challenging CUB benchmark dataset indicate that our proposed approach can outperform state-of-art methods over a wide range of threshold values. Our method provides class activation maps with a better coverage of foreground object regions w.r.t. the background.

研究の動機と目的

• 弱教師ありオブジェクト検出における従来のCAM手法の粗い局所化としきい値への感受性を改善すること。
• 画像ごとのしきい値チューニングを必要とせずに、正確で高解像度の疑似ラベルを生成することで局所化精度を向上させること。
• アテンションベースのピクセルサンプリングを用いて、画像ラベルのみでクラスに依存しない局所化を実現すること。
• 条件付きランダムフィールドと補助損失を用いて、境界の整合性と耐性を向上させること。
• 新規の疑似ラベルパイプラインを用いて、CUB-200-2011ベンチマークで最先端の性能を達成すること。

提案手法

• 最後のトランスフォーマーレイヤーの[cls]トークンからのアテンションマップを生成するために自己教師ありビジョン Transformer を使用する。
• 最初の4つのアテンションマップとその平均を組み合わせて、5つの候補マップを形成し、オブジェクト候補の生成に用いる。
• 5つのマップそれぞれにOtsuのしきい値処理を適用して二値マスクを生成し、1画像あたり最大n個のバウンディングボックスを抽出する。
• 分類器の推論用に、各バウンディングボックスの外側の背景領域をガウスノイズで抑制した画像クリップを生成する。
• 分類器の信頼度と対応するアテンションマップに基づき、最良の候補を選択し、上位n%と下位n%の活性化ピクセルをそれぞれ前景および背景領域として定義する。
• 得られた疑似ラベル上で標準的な交差エントロピー損失を用いて局所化ヘッドを学習する。境界の微調整のため、CRFと条件付き損失をオプションで追加可能。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありビジョン Transformer からのアテンションマップは、弱教師ありオブジェクト検出のための信頼性が高く、クラスに依存しない疑似ラベルを生成するために利用可能か？
• RQ2 複数のアテンションマップからの制約付きサンプリングは、CAMベースの局所化における画像ごとのしきい値選択への依存度を低下させることができるか？
• RQ3 本手法は、標準ベンチマークにおいて、最先端のCAMベース手法と比較して局所化精度を向上させることができるか？
• RQ4 CRF や条件付き損失といった補助損失は、ノイズを含む疑似ラベルの境界整合性と耐性を向上させることができるか？
• RQ5 本手法は、手動でのしきい値設定の必要性をどれほど低減させつつ、局所化性能を維持または向上させることができるか？

主な発見

• 提案手法は、CUB-200-2011データセットで90.9%の平均MaxBoxAccV2スコアを達成し、すべての先行最先端手法を上回った。
• VGGでは97.0%のMaxBoxAccを達成し、F-CAMによる従来の最先端の91.5%を大きく上回った。
• 活性化スコアの分布は、前景と背景領域の間に明確な分離を示しており、画像ごとのしきい値処理の必要性がなくなった。
• 複数のアテンションマップを用いることで、1画像に複数のオブジェクトを検出可能となり、部分的または複数オブジェクトのシーンに対する耐性が向上した。
• CRFおよび条件付きランダムフィールド損失の導入により、ノイズを含む疑似ラベルでも境界の整合性とマップの耐性が向上した。
• 本手法はクラスに依存せず、2チャンネルの疑似ラベル（前景／背景）のみで動作するため、学習と推論が簡素化された。