[論文レビュー] Anti-Adversarially Manipulated Attributions for Weakly and Semi-Supervised Semantic Segmentation

Jungbeom Lee, Eunji Kim+1 more|arXiv (Cornell University)|Mar 16, 2021

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本稿では、反敵対的勾配上昇を用いて入力画像を反復的に変更することで分類スコアを向上させる後処理手法AdvCAMを提案する。この手法により、ターゲットクラスのスコアを向上させる勾配に沿って画像を摂動させることで、アトリビューションマップをターゲットオブジェクト全体に拡大し、不要な領域を正則化によって抑制する。PASCAL VOC 2012において、弱教師ありセマンティックセグメンテーションで68.0、半教師ありセグメンテーションで76.9のSOTA mIoUを達成した。

ABSTRACT

Weakly supervised semantic segmentation produces a pixel-level localization from a classifier, but it is likely to restrict its focus to a small discriminative region of the target object. AdvCAM is an attribution map of an image that is manipulated to increase the classification score. This manipulation is realized in an anti-adversarial manner, which perturbs the images along pixel gradients in the opposite direction from those used in an adversarial attack. It forces regions initially considered not to be discriminative to become involved in subsequent classifications, and produces attribution maps that successively identify more regions of the target object. In addition, we introduce a new regularization procedure that inhibits the incorrect attribution of regions unrelated to the target object and limits the attributions of the regions that already have high scores. On PASCAL VOC 2012 test images, we achieve mIoUs of 68.0 and 76.9 for weakly and semi-supervised semantic segmentation respectively, which represent a new state-of-the-art.

研究の動機と目的

• オブジェクトの小さな特徴的領域にのみ注目する弱教師ありセマンティックセグメンテーションの限界を是正すること。
• 分類器や学習プロセスを変更せずに、局所化されたアトリビューションマップをターゲットオブジェクト全体に拡大する手法を開発すること。
• 画像操作による繰り返しの改善によって、アトリビューションマップを精錬し、セグメンテーションネットワークの学習に用いる疑似マスクの品質を向上させること。
• 背景や関係のないオブジェクトへの誤ったアトリビューションを抑制し、より正確で頑健な疑似ラベルを保証すること。

提案手法

• AdvCAMは、標準の敵対的攻撃とは逆の方向で、ターゲットクラススコアの勾配に沿って入力画像を反復的に摂動させることで、反敵対的画像操作を実行する。
• 分類器の意思決定境界から画像を遠ざけるように入力画像に対して勾配上昇を適用することで、もともとは特徴的でなかったが関連性のある領域も分類に含める。
• マスク正則化技術により、すでに高いスコアを持つ領域のアトリビューションスコアを制限し、オブジェクトの特定部分の過剰な増幅を防ぐ。
• 2番目の正則化項により、操作中に他のクラスの分類スコアを低下させることで、関係のないオブジェクトへの誤ったアトリビューションを低減する。
• 最終的なアトリビューションマップは、操作済みの画像から得られ、セグメンテーションネットワークの学習用に疑似真値マスクとして使用される。
• 本手法は後処理型であり、任意の事前学習済み分類器と互換性があり、再訓練やネットワーク構造の変更を必要としない。

実験結果

リサーチクエスチョン

• RQ1 反敵対的画像操作は、弱教師ありセマンティックセグメンテーションにおいて、アトリビューションマップの受容 field をターゲットオブジェクト全体に拡大するのに効果的か？
• RQ2 このプロセス中に、背景や他のオブジェクトのような不適切な領域を過剰に活性化させないよう、画像操作をどのように設計できるか？
• RQ3 提案された正則化機構は、セグメンテーション学習のための疑似マスクの品質と一般化性能をどの程度向上させるか？
• RQ4 AdvCAMは、アーキテクチャの変更なしに、既存の弱教師ありセグメンテーション手法を普遍的に改善できるか？
• RQ5 AdvCAMの性能に顕著に影響を与えるハイパーパrameterは何か？また、これらの設定の変動に対してどれほど頑健か？

主な発見

• AdvCAMは、PASCAL VOC 2012のテストセットにおいて、弱教師ありセマンティックセグメンテーションで68.0のSOTA mIoUを達成した。
• 半教師あり設定でも、76.9のmIoUを達成し、これもSOTA性能を記録した。
• λ = 7のマスク正則化は、λ = 0と比較してmIoUを5%以上向上させ、過剰に増幅された領域の抑制効果を示した。
• ハイパーパrameterの変動に頑健である：τ（マスク閾値）とξ（ステップサイズ）は、テスト範囲内でmIoUにほとんど影響を及ぼさなかった。
• AdvCAMは、複数のベースライン手法（例：IRN、Chang et al.、SEAM）の初期マスク品質を平均して4%以上向上させた。
• t-SNE可視化により、敵対的上昇が特徴を意思決定境界から遠ざける一方で、多様体構造を保持していることが確認され、安定的で意味のある特徴の進化が示された。