[論文レビュー] Contrastive learning of Class-agnostic Activation Map for Weakly Supervised Object Localization and Semantic Segmentation

Jinheng Xie, Jianfeng Xiang+4 more|arXiv (Cornell University)|Mar 25, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

本論文は、自己教師あり手法である対照的学習を用いたクラスに依存しない活性化マップ（C²AM）を提案する。この手法は、ラベルなし画像のみを用いて、完全で信頼性の高い前景オブジェクト領域を生成する。異なる画像間の前景・背景特徴を対比させ、特徴類似度に基づくランク重み付けを適用することで、クラスに依存しない活性化マップを生成し、弱教師ありオブジェクト検出（WSOL）およびセマンティックセグメンテーション（WSSS）の性能を向上させる。ベースラインのCAMと比較して、mIoUで最大17.5%の向上を達成した。

ABSTRACT

While class activation map (CAM) generated by image classification network has been widely used for weakly supervised object localization (WSOL) and semantic segmentation (WSSS), such classifiers usually focus on discriminative object regions. In this paper, we propose Contrastive learning for Class-agnostic Activation Map (C$^2$AM) generation only using unlabeled image data, without the involvement of image-level supervision. The core idea comes from the observation that i) semantic information of foreground objects usually differs from their backgrounds; ii) foreground objects with similar appearance or background with similar color/texture have similar representations in the feature space. We form the positive and negative pairs based on the above relations and force the network to disentangle foreground and background with a class-agnostic activation map using a novel contrastive loss. As the network is guided to discriminate cross-image foreground-background, the class-agnostic activation maps learned by our approach generate more complete object regions. We successfully extracted from C$^2$AM class-agnostic object bounding boxes for object localization and background cues to refine CAM generated by classification network for semantic segmentation. Extensive experiments on CUB-200-2011, ImageNet-1K, and PASCAL VOC2012 datasets show that both WSOL and WSSS can benefit from the proposed C$^2$AM.

研究の動機と目的

• 弱教師ありオブジェクト検出（WSOL）およびセマンティックセグメンテーション（WSSS）におけるクラスアクティベーションマップ（CAMs）の限界、すなわち、散在的で特徴的な領域にのみ注目するという問題を解決すること。
• 画像レベルのアノテーションを必要とせず、より完全で信頼性の高い前景オブジェクト領域を学習すること。
• 異なる画像間の前景・背景対比を活用して、オブジェクトと背景の表現を分離する自己教師あり手法を開発すること。
• C²AMを用いてCAMsを置き換えたり、改良することで、WSOLおよびWSSSの性能を向上させること。

提案手法

• C²AMは、1枚の画像に対して1つのクラスに依存しない活性化マップを生成し、前景領域と背景領域を区別する。
• 正例ペアは、外観が類似する前景同士、またはテクスチャ／色が類似する背景同士を、負例ペアは異なる画像間の前景・背景ペairを形成する対照的損失を用いる。
• 特徴類似度に基づくランク重み付け機構により、類似度が低い正例ペア（例：外観が異なるオブジェクト）の影響を低減する。
• 活性化ヘッドはランダムに初期化され、対照的損失を用いてエンドツーエンドで訓練され、前景・背景特徴を段階的に分離する。
• 得られたクラスに依存しない活性化マップを用いて背景の手がかりを抽出し、それをCAMsの改良に活用することで、より良いセマンティックセグメンテーションを実現する。
• 本手法は、訓練段階で完全にラベルなし画像データに依存しており、画像レベルの教師信号は一切不要である。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータを用いた自己教師あり対照的学習は、クラス固有のCAMsと比較して、より完全で信頼性の高い前景オブジェクト領域を生成できるか？
• RQ2 画像レベルの教師信号を一切用いずに、異なる画像間の前景・背景対比は、オブジェクトと背景の表現をどれほど効果的に分離できるか？
• RQ3 C²AMが生成するクラスに依存しない活性化マップは、CAMsの改良に用いることで、WSOLおよびWSSSの性能を向上させられるか？
• RQ4 C²AMは、ランク重み付け要因αや活性化ヘッドの初期化にどれほど感度を示すか？

主な発見

• ImageNet-1Kデータセット上でのセマンティックセグメンテーションにおいて、C²AMはベースラインのPSA手法に対して17.5%、SC-CAMに対して15.1%のmIoU向上を達成した。
• C²AMから抽出した背景の手がかりは、完全に教師ありのサリエンシー検出器のものよりも、誤った背景活性化を低減する点で優れていた。
• ImageNet-1Kにおける真値既知の局在精度は、活性化ヘッドの初期化方法に関わらず安定しており、重み初期化にほとんど感度を示さないことが示された。
• ランク重み付け機構におけるハイパーパrameter α が 0 より大きい値に設定された場合、性能が著しく向上し、α の値が 0.1 から 0.9 の範囲で安定した結果が得られた。
• 可視化結果から、C²AMは誤った背景活性化を効果的に抑制し、改良されたCAMsで欠落していたオブジェクト部分（例：牛の体、馬の脚）を回復していることがわかった。
• 本手法は、訓練時に画像レベルのアノテーションを一切使用せず、WSOLおよびWSSSの両タスクで最先端の性能を達成した。