[論文レビュー] Semantic Segmentation using Adversarial Networks

Pauline Luc, Camille Couprie+2 more|arXiv (Cornell University)|Nov 25, 2016

Anomaly Detection Techniques and Applications被引用数 485

ひとこと要約

本論文は、セマンティックセグメンテーションに対する敵対的トレーニングを導入し、セグメンテーションCNNを予測マップと地真のラベルマップを識別する敵対ネットワークと共同で訓練することで、Stanford Backgroundおよび PASCAL VOC 2012で精度を向上させる。

ABSTRACT

Adversarial training has been shown to produce state of the art results for generative image modeling. In this paper we propose an adversarial training approach to train semantic segmentation models. We train a convolutional semantic segmentation network along with an adversarial network that discriminates segmentation maps coming either from the ground truth or from the segmentation network. The motivation for our approach is that it can detect and correct higher-order inconsistencies between ground truth segmentation maps and the ones produced by the segmentation net. Our experiments show that our adversarial training approach leads to improved accuracy on the Stanford Background and PASCAL VOC 2012 datasets.

研究の動機と目的

• Per-pixel lossesを超える高次の整合性を強制するための敵対的トレーニングの利用を動機づける。
• 標準のクロスエントロピー損失と敵対的損失を組み合わせてセグメンテーションモデルを訓練するフレームワークを開発する。
• 敵対的方法がベンチマークデータセットでのセグメンテーション精度を改善することを示す。

提案手法

• ピクセルごとのラベルに対するマルチクラスクロスエントロピーと、ラベルマップが地真かセグメンテーション生成かを判断する敵対損失を組み合わせたハイブリッド損失を使用する。
• 予測マップと地真マップを区別する敵対ネットワークの難易度を最大化するよう、セグメンテーションCNNを訓練する。
• 敵対モデルはラベルマップ単独、またはRGB入力を条件としたラベルマップのいずれかを入力として取るCNNであり、LargeFOVおよびSmallFOVのアーキテクチャを含む。
• 敵対ネットワークの入力エンコード（Basic、Product、Scaling）および2つの視野設定（LargeFOV、SmallFOV）を用いて実験する。
• 訓練の安定化を図るため、セグメンテーションネットワークと敵対ネットワークを交互に更新する訓練方式を採用する。

実験結果

リサーチクエスチョン

• RQ1 敵対的トレーニングは標準のクロスエントロピー訓練よりもベンチマークデータセットでセマンティックセグメンテーションの精度を向上させるか。
• RQ2 学習された敵対損失はピクセル単位の損失を超える高次の依存関係と空間的連続性を捉えられるか。
• RQ3 敵対ネットワークのアーキテクチャと入力エンコードはどのような性能トレードオフをもたらすか。
• RQ4 敵対的訓練はセグメンテーション出力の過学習と境界描写にどのように影響するか。

主な発見

• 敵対的トレーニングは、Mean IoUおよび関連指標で、クロスエントロピーのベースラインと比較してStanford Backgroundおよび PASCAL VOC 2012で一貫した利得をもたらす。
• LargeFOVの敵対アーキテクチャが、テストした変種の中で最も効果的な改善を提供する。
• 異なる敵対入力エンコード（Basic、Product、Scaling）は同等の性能を達成し、Scalingはさまざまな設定で堅牢な結果をもたらす。
• 敵対的訓練は過学習を抑制し、セグメンテーションマップの空間的連続性と境界のシャープさを改善する。
• PASCAL VOC 2012では、選択された敵対設定が検証セットでベースラインを小幅だが一貫して上回り、テストセットで競争力のある結果を示す。