[論文レビュー] Semantic Segmentation by Improved Generative Adversarial Networks

Zengshun Zhaoa, Yulong Wang+4 more|arXiv (Cornell University)|Apr 20, 2021

Advanced Neural Network Applications参考文献 26被引用数 6

ひとこと要約

本稿では、従来のCRF後処理の代わりに、段階的ConvCRFで強化された完全畳み込み型判別器を備えた、セマンティックセグメンテーションのための改善されたGANフレームワーク、Seg-GANを提案する。敵対的損失とセグメンテーション損失を同時に最適化することで、エンド・ツー・エンドの学習が可能となり、細部の保持が向上し、ベンチマークデータセットにおいて最先端の手法を上回る性能を達成する。

ABSTRACT

While most existing segmentation methods usually combined the powerful feature extraction capabilities of CNNs with Conditional Random Fields (CRFs) post-processing, the result always limited by the fault of CRFs . Due to the notoriously slow calculation speeds and poor efficiency of CRFs, in recent years, CRFs post-processing has been gradually eliminated. In this paper, an improved Generative Adversarial Networks (GANs) for image semantic segmentation task (semantic segmentation by GANs, Seg-GAN) is proposed to facilitate further segmentation research. In addition, we introduce Convolutional CRFs (ConvCRFs) as an effective improvement solution for the image semantic segmentation task. Towards the goal of differentiating the segmentation results from the ground truth distribution and improving the details of the output images, the proposed discriminator network is specially designed in a full convolutional manner combined with cascaded ConvCRFs. Besides, the adversarial loss aggressively encourages the output image to be close to the distribution of the ground truth. Our method not only learns an end-to-end mapping from input image to corresponding output image, but also learns a loss function to train this mapping. The experiments show that our method achieves better performance than state-of-the-art methods.

研究の動機と目的

• セマンティックセグメンテーションの結果に対する後処理としての条件付きランダムフィールド（CRF）の非効率性と限界を解消すること。
• 深層生成モデルを用いた、CRFベースの精錬処理の代替として、より高速で効果的な手法を開発すること。
• ConvCRFをGANフレームワークに統合することで、分類精度と細粒度の細部の保持を向上させること。
• 生成されたマップが真値アノテーションの分布と一致するよう、敵対的損失を用いたエンド・ツー・エンドの学習を可能にすること。

提案手法

• GANベースのセグメンテーションにおける従来のCRF後処理の代わりに、完全畳み込み型判別器ネットワークを提案する。
• セグメンテーションマップの局所的整合性とエッジの詳細を向上させるために、判別器に段階的ConvCRFを統合する。
• 生成されたセグメンテーションマップが真値アノテーションの分布と一致するよう、敵対的損失を用いる。
• 生成器と判別器をエンド・ツー・エンドの形で同時に学習させ、マッピング関数と損失関数の両方を同時に学習する。
• 生成器が入力画像を条件としてセグメンテーションマスクを生成する、条件付きGANの設定を採用する。
• 生成器の最適化に、セグメンテーション損失（例：交差エントロピー）と敵対的損失の両方を活用する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのフレームワークは、推論速度と精度を向上させつつ、セマンティックセグメンテーションにおけるCRF後処理を効果的に置き換えることができるか？
• RQ2 判別器アーキテクチャにConvCRFを統合することで、セグメンテーション出力の品質と詳細にどのような影響を与えるか？
• RQ3 敵対的学習は、予測されたセグメンテーションマップが真値と分布的に一致するよう、どの程度効果を発揮するか？
• RQ4 敵対的損失とセグメンテーション損失を用いたエンド・ツー・エンドの学習は、従来の2段階的手法に比べ、優れた性能を発揮するか？

主な発見

• 提案されたSeg-GANは、標準的なセマンティックセグメンテーションベンチマークで最先端の性能を達成し、既存の手法を上回っている。
• 判別器に段階的ConvCRFを統合したことで、エッジや境界の細部の保持が顕著に向上している。
• CRF後処理の排除により、推論速度が著しく向上し、同時に精度を維持または向上させている。
• 敵対的損失部は、生成されたマップが真値分布に近づき、より現実的になるよう効果的に生成器を促進している。