[論文レビュー] Edge Guided GANs with Semantic Preserving for Semantic Image Synthesis

Hao Tang, Xiaojuan Qi+3 more|arXiv (Cornell University)|Mar 31, 2020

Generative Adversarial Networks and Image Synthesis参考文献 68被引用数 29

ひとこと要約

この論文では、エッジマップを中間的ガイダンスとして用いることで、構造的詳細と意味的整合性を保ちながら、写真のようにリアルなセマンティック画像生成を向上させる、新しいGANフレームワークEdgeGANを提案する。アテンションガイドドエッジ転送モジュールとクラスに依存する特徴強調メカニズムを統合することで、EdgeGANは2つのベンチマークデータセットにおいて最先端の手法を上回り、よりシャープで意味的に正確な画像を生成し、局所的詳細を向上させ、オブジェクトが欠落するエラーを低減する。

ABSTRACT

We propose a novel Edge guided Generative Adversarial Network (EdgeGAN) for photo-realistic image synthesis from semantic layouts. Although considerable improvement has been achieved, the quality of synthesized images is far from satisfactory due to two largely unresolved challenges. First, the semantic labels do not provide detailed structural information, making it difficult to synthesize local details and structures. Second, the widely adopted CNN operations such as convolution, down-sampling and normalization usually cause spatial resolution loss and thus are unable to fully preserve the original semantic information, leading to semantically inconsistent results (e.g., missing small objects). To tackle the first challenge, we propose to use the edge as an intermediate representation which is further adopted to guide image generation via a proposed attention guided edge transfer module. Edge information is produced by a convolutional generator and introduces detailed structure information. Further, to preserve the semantic information, we design an effective module to selectively highlight class-dependent feature maps according to the original semantic layout. Extensive experiments on two challenging datasets show that the proposed EdgeGAN can generate significantly better results than state-of-the-art methods. The source code and trained models are available at this https URL.

研究の動機と目的

• セマンティックラベルからの構造的情報が不十分であるために生じる、セマンティック画像生成における局所的詳細の低品質な合成という課題に対処すること。
• プーリングや正規化などの標準的なCNN演算による空間的解像度の損失によって引き起こされる意味的整合性の欠如を軽減すること。
• 生成プロセス中に微細な構造的および意味的詳細を保持することで、画像品質を向上させること。
• エッジマップを中間表現として活用し、高忠実度な画像生成をガイドする手法を開発すること。

提案手法

• 畳み込み生成器が入力のセマンティックレイアウトからエッジマップを生成し、構造的ガイダンスとして機能する。
• アテンションガイドドエッジ転送モジュールが層間をまたいでエッジ特徴を整列・転送し、画像生成中に微細な詳細を保持する。
• クラスに依存する特徴強調モジュールが、元のセマンティックレイアウトに基づいて特徴マップを選択的に強調することで、意味的整合性を維持する。
• 生成器は、リアルさと構造的忠実度の両方を最適化するため、敵対的訓練フレームワーク内でエンドツーエンドに訓練される。
• マルチストリーム特徴精錬機構を通じて、エッジ監視と意味的整合性の維持を統合する。
• 性能の妥当性を検証するため、フレームワークは2つの挑戦的なセマンティック画像生成ベンチマークで訓練および評価される。

実験結果

リサーチクエスチョン

• RQ1 エッジマップは、セマンティック画像生成における局所的構造の合成を向上させるために、効果的な中間表現として機能するだろうか？
• RQ2 CNN演算による解像度の損失がある中で、意味的整合性はどのように維持できるだろうか？
• RQ3 標準のGANと比較して、エッジガイドド特徴転送は、生成画像の忠実度とリアリズムをどの程度向上させるだろうか？
• RQ4 クラスに依存する特徴強調メカニズムは、欠落や誤分類されたオブジェクトといった意味的整合性の欠如を低減できるだろうか？
• RQ5 エッジガイダンスと意味的整合性の統合は、最先端手法と比較して測定可能な改善をもたらすだろうか？

主な発見

• EdgeGANは、2つの挑戦的なセマンティック画像生成ベンチマークにおいて、最先端の手法を上回る優れた画像品質を達成した。
• 意味的整合性の向上のおかげで、小さなオブジェクトが欠落するか誤分類される頻度が顕著に低減された。
• アテンションガイドドエッジ転送モジュールのおかげで、局所的構造的詳細が強化され、よりシャープで現実的なテクスチャーや形状が得られた。
• 定量的指標ではFIDおよびその他の評価スコアに一貫した改善が見られ、よりリアルで忠実度の高い画像であることが示された。
• アブレーションスタディの結果、エッジガイダンスと意味的整合性の両方のコンponentsが最適なパフォーマンスを発揮するために不可欠であることが確認された。
• ソースコードとトレーニング済みモデルは公開されており、再現性とさらなる研究を可能にしている。