[論文レビュー] Weakly Supervised Semantic Segmentation using Out-of-Distribution Data

Jungbeom Lee, Seung‐June Oh+4 more|arXiv (Cornell University)|Mar 8, 2022

Advanced Image and Video Retrieval Techniques被引用数 6

ひとこと要約

本論文は、弱教師ありセマンティックセグメンテーションのためのW-OoDを提案する。この手法は、『列車』クラスに対して鉄道のみの画像といったハードOoD（分布外）画像を活用し、誤った背景相関を抑制する。これらのOoDサンプルを拒否するように分類器を訓練することで、局所化精度が向上し、追加のアノテーションコストを最小限に抑えながらPascal VOC 2012で最先端の性能を達成する。

ABSTRACT

Weakly supervised semantic segmentation (WSSS) methods are often built on pixel-level localization maps obtained from a classifier. However, training on class labels only, classifiers suffer from the spurious correlation between foreground and background cues (e.g. train and rail), fundamentally bounding the performance of WSSS. There have been previous endeavors to address this issue with additional supervision. We propose a novel source of information to distinguish foreground from the background: Out-of-Distribution (OoD) data, or images devoid of foreground object classes. In particular, we utilize the hard OoDs that the classifier is likely to make false-positive predictions. These samples typically carry key visual features on the background (e.g. rail) that the classifiers often confuse as foreground (e.g. train), so these cues let classifiers correctly suppress spurious background cues. Acquiring such hard OoDs does not require an extensive amount of annotation efforts; it only incurs a few additional image-level labeling costs on top of the original efforts to collect class labels. We propose a method, W-OoD, for utilizing the hard OoDs. W-OoD achieves state-of-the-art performance on Pascal VOC 2012.

研究の動機と目的

• 弱教師ありセマンティックセグメンテーション（WSSS）における根本的限界、すなわち分類器が前景オブジェクトと背景の手がかり（例：列車とレール）の間で誤った相関関係を学習することを解決すること。
• 前景クラスを含まないが、誤解を招く背景手がかりを含む分布外（OoD）データを、新たな監視信号として同定・利用すること。
• 標準的なデータセット収集プロセスの副産物として得られるOoDデータを活用することで、追加のラベルをわずかに増やすだけで、アノテーションコストを最小限に抑えること。
• メトリック学習の目的関数を用いて、インディストリビューションの前景とハードOoDサンプルを分類するように分類器を訓練することで、疑似セグメンテーションマップの品質を向上させること。
• たとえ1クラスあたり1枚程度のハードOoDサンプルであっても、顕著な性能向上が得られることを示し、OoDデータが密度のあるアノテーションのコスト効率の良い代替手段であることを示すこと。

提案手法

• 元のデータセットキュレーションプロセスで選択されなかった画像のプールから候補となるOoD画像を収集し、これは自然に前景クラスが除外される。
• 事前学習済み分類器が前景クラス（例：鉄道のみの画像に対して「列車」と誤って高い信頼度を割り当てる）に高い確信度を示す画像を選別することで、ハードOoDサンプルを同定する。
• 人間によるフィードバックを組み込んだピュアピングステップを適用し、誤って前景オブジェクトを含むOoD画像を除去することで、クリーンな負例監視を保証する。
• インディストリビューションとOoDサンプル間の特徴距離を拡大するように、メトリック学習損失を用いて分類器を訓練し、誤った背景手がかりをモデルが拒否するよう促す。
• 洗練された分類器を2段階のWSSSパイプラインに統合する：まずCAM変種を用いて疑似セグメンテーションマスクを生成し、次にそれらの改善済みマスクを用いてセグメンテーションネットワークを訓練する。
• 二重損失戦略を採用する：インディストリビューションデータに対しては標準的な交差エントロピー損失を、インディストリビューションおよびハードOoDデータに対しては対照的距離損失（$\mathcal{L}_{\text{d}}$）を適用することで、特徴の識別性を高め、訓練を安定化させる。

実験結果

リサーチクエスチョン

• RQ1 分布外（OoD）データは、弱教師ありセマンティックセグメンテーションにおける誤った相関関係を低減するための有効な監視信号として利用可能か？
• RQ2 分類器を誤って前景クラスと予測してしまうようなハードOoDサンプルの導入が、疑似セグメンテーションマップの品質にどのように影響するか？
• RQ3 WSSSで顕著な性能向上を達成するために必要な最小限のアノテーションコストは何か？ また、OoDデータは低ラベルコストでスケールアップ可能か？
• RQ4 OoDデータの使用は、特に強い背景相関を持つオブジェクトクラス（例：列車-レール、鳥-木）において一般化性能を向上させるか？
• RQ5 OoDデータにおけるメトリック学習は、インディストリビューションと誤った背景パターンの間の特徴の分離を安定化させ、向上させるか？

主な発見

• W-OoDはPascal VOC 2012で最先端の性能を達成し、従来の画像ラベルベースのWSSS手法を上回る。
• 1クラスあたり1枚のハードOoD画像を追加するだけで、平均交差率（mIoU）が2.0ポイント上昇し、極めて高いサンプル効率を示した。
• 誤った背景活性化が低減された：t-SNE可視化では、訓練過程でインディストリビューションとOoD画像の特徴が徐々に分離されるようになった。
• OoDデータに対するメトリック学習損失 $\mathcal{L}_{\text{d}}$ の適用により、性能が顕著に向上し、ハードOoDに適用した際のmIoUは58.1%から60.1%に上昇した。
• インディストリビューションデータに $\mathcal{L}_{\text{d}}$ を適用することで、mIoUの標準偏差が0.82から0.33に低下し、訓練の安定性が向上したことが示された。
• 強い誤った相関関係を持つクラス（例：『列車』、『飛行機』、『船』）では性能向上が顕著に現れたが、『食事用テーブル』では低下した可能性があり、これはテーブル上に物体が含まれるノイズの多い正解マスクによるものと考えられる。