[論文レビュー] Object Region Mining with Adversarial Erasing: A Simple Classification to Semantic Segmentation Approach

Yunchao Wei, Jiashi Feng+4 more|arXiv (Cornell University)|Mar 24, 2017

Advanced Neural Network Applications参考文献 31被引用数 47

ひとこと要約

本論文は、分類ネットワークが特定の特徴領域に反応する性質を活かし、逐次的に判別性の高い領域を消去することで、密度的で完全なオブジェクト領域を段階的に抽出する敵対的消去（AE）手法を提案する。この手法により、画像ラベルのみを用いた弱教師付きセマンティックセグメンテーションが可能となる。AEとオンライン禁止的セグメンテーション学習（PSL）を組み合わせることで、PASCAL VOC 2012 の検証セットで55.0%のmIoU、テストセットで55.7%のmIoUを達成し、従来の弱教師付き手法を顕著に上回る結果を得た。

ABSTRACT

We investigate a principle way to progressively mine discriminative object regions using classification networks to address the weakly-supervised semantic segmentation problems. Classification networks are only responsive to small and sparse discriminative regions from the object of interest, which deviates from the requirement of the segmentation task that needs to localize dense, interior and integral regions for pixel-wise inference. To mitigate this gap, we propose a new adversarial erasing approach for localizing and expanding object regions progressively. Starting with a single small object region, our proposed approach drives the classification network to sequentially discover new and complement object regions by erasing the current mined regions in an adversarial manner. These localized regions eventually constitute a dense and complete object region for learning semantic segmentation. To further enhance the quality of the discovered regions by adversarial erasing, an online prohibitive segmentation learning approach is developed to collaborate with adversarial erasing by providing auxiliary segmentation supervision modulated by the more reliable classification scores. Despite its apparent simplicity, the proposed approach achieves 55.0% and 55.7% mean Intersection-over-Union (mIoU) scores on PASCAL VOC 2012 val and test sets, which are the new state-of-the-arts.

研究の動機と目的

• 分類ネットワークが通常は疎で判別性の高い領域に反応するが、それらを密度的でピクセル単位のセマンティックセグメンテーションタスクに適応させる課題に取り組むこと。
• 分類ネットワークの疎な注視行動と、セグメンテーションネットワークが要求する完全で整合性のあるオブジェクト領域の局在化のギャップを埋めること。
• 高価なピクセル単位の教師信号を避けて、画像ラベルのみを用いて、密度的で完全なオブジェクト領域を効果的に抽出するシンプルな手法を開発すること。
• 分類スコアを活用してセグメンテーションの監督信号を精緻化するオンライン禁止的セグメンテーション学習（PSL）を導入し、セグメンテーション品質を向上させること。

提案手法

• 敵対的消去（AE）は、分類ネットワークが特定した最も判別性の高い領域を繰り返し消去することで、その後の学習ラウンドで新たな補完的領域を発見させることを目的とする。
• 情報量の少ない領域が発見されなくなるまでこのプロセスを繰り返し、消去された領域を統合することで、完全で密度的な前景マスクが生成され、セグメンテーションの監督信号として利用される。
• オンライン禁止的セグメンテーション学習（PSL）は、画像ラベルの分類スコアを用いてカテゴリ固有の応答マップを調整し、補助的なセグメンテーション監督信号を生成することで、領域の完全性を向上させ、ノイズを低減する。
• PSLは学習中にオンラインで適用され、分類スコアの信頼性に基づいて動的にセグメンテーション監督信号を調整する。
• 最終段階として、予測マスクをCRFで処理し、再学習を行う反復的トレーニングステップを実施することで、さらに結果を精緻化する。
• 本手法はAEとPSLを統合的なパイプラインで統合し、真値マスクを一切必要とせず、画像ラベルのみに依存する。

実験結果

リサーチクエスチョン

• RQ1 敵対的消去（AE）は、分類ネットワークを段階的かつ効果的にオブジェクト領域を発見するためのマイナーに変換できるか？
• RQ2 分類ネットワークの疎な注視行動の制限をどのように緩和することで、密度的かつ完全なオブジェクト局在化を達成できるか？
• RQ3 オンライン禁止的セグメンテーション学習（PSL）は、抽出された領域の品質をどの程度向上させ、セグメンテーション性能を改善できるか？
• RQ4 二値の真値ラベルではなく分類スコアの信頼性を用いることで、弱教師付き設定においてより優れたセグメンテーション結果が得られるか？

主な発見

• 提案手法の敵対的消去（AE）は、PASCAL VOC 2012 検証セットで55.0%のmIoUを達成し、弱教師付きセマンティックセグメンテーション分野で新たなSOTAを樹立した。
• PASCAL VOC 2012 テストセットでは55.7%のmIoUを達成し、SOTA性能がさらに裏付けられた。
• オンライン禁止的セグメンテーション学習（PSL）の統合により、PSLなしのベースラインと比較して性能が3.2%向上した。
• CRF処理済みマスクを用いた追加のトレーニングラウンド（w/ PSL++）により、mIoUが54.1%から55.0%に上昇し、収束性とロバスト性が示された。
• PSLに真値ラベルを用いた場合、性能が0.6%低下したため、信頼性に基づくモodulationの優位性が裏付けられた。
• PSLから分類スコアを除去すると性能が1%低下したため、モデルの信頼性を監督信号の調整に活用する有効性が確認された。