[論文レビュー] Adversarial Learning for Semi-Supervised Semantic Segmentation

Wei-Chih Hung, Yi‐Hsuan Tsai+3 more|arXiv (Cornell University)|Feb 22, 2018

Advanced Neural Network Applications参考文献 26被引用数 377

ひとこと要約

この論文は、GANフレームワーク内で完全畳み込み識別器を導入し、予測確率マップを実地地真マップと整列させ、自己教師付き監督信号を介してラベルなしデータを活用することで、VOC 2012 と Cityscapes で改善を達成する半教師付きセマンティックセグメンテーションを提案する。

ABSTRACT

We propose a method for semi-supervised semantic segmentation using an adversarial network. While most existing discriminators are trained to classify input images as real or fake on the image level, we design a discriminator in a fully convolutional manner to differentiate the predicted probability maps from the ground truth segmentation distribution with the consideration of the spatial resolution. We show that the proposed discriminator can be used to improve semantic segmentation accuracy by coupling the adversarial loss with the standard cross entropy loss of the proposed model. In addition, the fully convolutional discriminator enables semi-supervised learning through discovering the trustworthy regions in predicted results of unlabeled images, thereby providing additional supervisory signals. In contrast to existing methods that utilize weakly-labeled images, our method leverages unlabeled images to enhance the segmentation model. Experimental results on the PASCAL VOC 2012 and Cityscapes datasets demonstrate the effectiveness of the proposed algorithm.

研究の動機と目的

• セマンティックセグメンテーションにおける注釈負担の軽減を、ラベルなしデータを活用することで動機づける。
• 完全畳み込み識別器によってガイドされるセグメンテーションネットワーク（ジェネレータ）という対立フレームワークを提案する。
• 識別器の出力から信頼できる領域を導出して未ラベルデータを監督することで、半教師付き学習を可能にする。
• 推論時の後処理を排除するため、識別損失をエンドツーエンドの訓練に組み込む。

提案手法

• セグメンテーションネットワーク（ResNet-101を用いた DeepLab-v2）を用いて H x W x C の確率マップを生成する。
• 完全畳み込み識別器 D を導入し、確率マップを取り、ground-truth とセグメンテーション起源を示す空間的信頼度マップ H x W x 1 を出力する。
• D を空間クロスエントロピーで訓練し、ground-truth マップとセグメンテーション出力を識別する。
• S をマルチタスク損失で訓練する： L_seg = L_ce + lambda_adv L_adv + lambda_semi L_semi。
• L_adv は S が D を欺くようなマップを生成するよう促す（D(S(X)) が ground-truth と分類されるように最大化）。
• 未ラベルデータについては、D で信頼度マップを計算し、自己学習ターゲットを用いたマスク付きクロスエントロピー損失 L_semi を適用する；しきい値 T_semi が信頼できる領域を選択する。

実験結果

リサーチクエスチョン

• RQ1 ピクセルごとの確率マップ上で動作する対立的識別器は、推論コストを増やすことなくセグメンテーションの質を改善できるか？
• RQ2 識別器由来の信頼マップと自己学習監督を通じて、ラベルなし画像はセグメンテーション性能に寄与できるか？
• RQ3 対立的信号を用いた半教師付き訓練は、標準的な完全教師付きの基準と比較してどうか？
• RQ4 完全畳み込み識別器のアーキテクチャとハイパーパラメータが半教師付きの改善に及ぼす影響は？

主な発見

データ量	手法	1/8	1/4	1/2	全
VOC 2012	ベースライン	66.0	68.3	69.8	73.6
VOC 2012	ベースライン + L_adv	67.6	71.0	72.6	74.9
VOC 2012	ベースライン + L_adv + L_semi	69.5	72.1	73.8	N/A
Cityscapes	ベースライン	55.5	59.9	64.1	66.4
Cityscapes	ベースライン + L_adv	57.1	61.8	64.6	67.7
Cityscapes	ベースライン + L_adv + L_semi	58.8	62.3	65.7	N/A

• 対立損失は、VOC 2012 の異なるラベル付きデータ量（1/8 からフル）でベースラインを上回る一貫した改善をもたらす。
• L_adv の導入は 1.6% から 2.8% の改善を生み出し; L_semi を組み合わせるとさらに 3.5% から 4.0% の改善をVOC 2012 で達成。
• Cityscapes では、L_adv は 0.5% から 1.9% の改善を提供し、L_adv + L_semi の組み合わせで 1.6% から 3.3% の改善を得た。
• 完全畳み込み識別器は必須で、非 FCD セットはおおよそ 1%（VOC）から 1.5%（全体のアブレーション）劣る。
• 半教師付き学習は識別器由来の信頼マップを用いて訓練信号をマスクすることで成り立つ； T_semi が [0.1, 0.3] の範囲で有効。
• 従来の対立的方法と比べ、この提案手法は半教師付き設定下で VOC 2012 の平均 IU を高く達成している。