[論文レビュー] Structured Prediction using cGANs with Fusion Discriminator

Faisal Mahmood, Wenhao Xu+3 more|arXiv (Cornell University)|Mar 27, 2019

Image Processing Techniques and Applications被引用数 2

ひとこと要約

本稿では、画像生成、セマンティックセグメンテーション、深度推定といった構造的予測タスクを、1つの柔軟なディスクリミネーターを通じて高次元の整合性を強制することで、向上させる統合的条件付きGANフレームワーク「ファージョンディスクリミネーター」を提案する。本手法は、特定のポテンシャル関数に制限されず、多様なタスクで既存手法を上回る性能を発揮する。

ABSTRACT

We propose the fusion discriminator, a single unified framework for incorporating conditional information into a generative adversarial network (GAN) for a variety of distinct structured prediction tasks, including image synthesis, semantic segmentation, and depth estimation. Much like commonly used convolutional neural network -- conditional Markov random field (CNN-CRF) models, the proposed method is able to enforce higher-order consistency in the model, but without being limited to a very specific class of potentials. The method is conceptually simple and flexible, and our experimental results demonstrate improvement on several diverse structured prediction tasks.

研究の動機と目的

• 深層生成モデルを用いた構造的予測タスクにおける高次元整合性の強制という課題に取り組むこと。
• 特定のポテンシャル関数に依存せず、多様な構造的予測タスクに一般化可能な柔軟で統合的なフレームワークを開発すること。
• 構造的整合性を強化した条件付きGANを用いて、画像生成、セマンティックセグメンテーション、深度推定のパフォーマンスを向上させること。
• 条件付きモデリングをGANの学習プロセスに直接統合することで、従来のCNN-CRFモデルを置き換えまたは上回ること。

提案手法

• ファージョンディスクリミネーターは、条件情報をGANフレームワークに直接統合し、生成器とディスクリミネーターの両方を構造的出力とともに同時に最適化可能にする。
• 実際のサンプルと生成されたサンプル、およびそれらに対応する条件を処理する統一されたディスクリミネーターを用い、空間的構造全体にわたる整合性を強制する。
• 事前に定義されたポテンシャル関数に依存せず、敵対的学習を通じて構造的依存関係をエンドツーエンドで学習する。
• 条件情報はディスクリミネーターの複数の段階に統合され、構造的出力内の複雑な高次元依存関係を捉えることができる。
• アーキテクチャの大幅な見直しが不要なモジュラー設計となっており、さまざまな構造的予測タスクに適用可能である。
• 標準的なGANの目的関数に従って学習が行われるが、ファージョンディスクリミネーターが生成出力が現実的かつ構造的に整合的であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 統合的GANフレームワークは、多様な構造的予測タスクにおいて、高次元整合性を効果的に強制できるか？
• RQ2 ファージョンディスクリミネーターは、従来のCNN-CRFモデルと比較して、パフォーマンスと柔軟性の面で優れているか？
• RQ3 ファージョンディスクリミネーターは、画像生成、セグメンテーション、深度推定といった異なる構造的予測タスクにどの程度一般化可能か？
• RQ4 提案手法は、既存の条件付きGANが用いられる構造的予測ベンチマークで、優れた性能を発揮するか？

主な発見

• ファージョンディスクリミネーターは、画像生成、セマンティックセグメンテーション、深度推定といった複数の構造的予測タスクで、向上したパフォーマンスを達成した。
• 本手法は、特定のポテンシャル関数に制約されないものの、CNN-CRFモデルと同様の高次元整合性を予測に示した。
• フレームワークは柔軟で汎用的であり、アーキテクチャの最小限の変更で、さまざまな構造的予測タスクに直接適用可能である。
• 実験結果から、ベースラインの条件付きGANやCNN-CRFモデルと比較して一貫した改善が確認された。