[論文レビュー] Adaptive Composition GAN towards Realistic Image Synthesis

Fangneng Zhan, Jiaxing Huang+1 more|arXiv (Cornell University)|May 12, 2019

Generative Adversarial Networks and Image Synthesis参考文献 61被引用数 17

ひとこと要約

本稿では、リアリスティックな画像生成のための幾何構造と外観の両方を共同最適化するエンドツーエンドで学習可能なフレームワーク、Adaptive Composition GAN (AC-GAN) を提案する。階層的合成メカニズムと前景オブジェクトの適応に向けたアテンションマスクを統合することで、アーティファクトを低減し、詳細の保持を向上させ、シーンテキスト合成、ポートレート編集、インテリアレンダリングの分野で最先端の性能を達成した。

ABSTRACT

Despite the rapid progress of generative adversarial networks (GANs) in image synthesis in recent years, current approaches work in either geometry domain or appearance domain which tend to introduce various synthesis artifacts. This paper presents an innovative Adaptive Composition GAN (AC-GAN) that incorporates image synthesis in geometry and appearance domains into an end-to-end trainable network and achieves synthesis realism in both domains simultaneously. An innovative hierarchical synthesis mechanism is designed which is capable of generating realistic geometry and composition when multiple foreground objects with or without occlusions are involved in synthesis. In addition, a novel attention mask is introduced to guide the appearance adaptation to the embedded foreground objects which helps preserve image details and resolution and also provide better reference for synthesis in geometry domain. Extensive experiments on scene text image synthesis, automated portrait editing and indoor rendering tasks show that the proposed AC-GAN achieves superior synthesis performance qualitatively and quantitatively.

研究の動機と目的

• 既存のGANが幾何構造または外観を別々に最適化するという制限を解消し、合成アーティファクトを低減すること。
• 幾何構造および外観の両ドメインにわたるエンドツーエンド学習を可能にすること。
• 複数の前景オブジェクト（被覆を含む）を含む複雑なシーンにおけるリアリズムの向上。
• 新規のアテンションマスク機構を用いて、外観適応中に高解像度の詳細を保持すること。

提案手法

• 幾何構造と外観の両方の合成を共同で学習するエンドツーエンドで学習可能なアーキテクチャを導入する。
• 現実的なオブジェクト構成と空間的レイアウトを生成するために、階層的合成メカニズムを採用する。
• 埋め込まれた前景オブジェクトに特化した外観適応をガイドするアテンションマスクを設計する。
• アテンションマスクを用いて特徴の整合性を向上させるとともに、解像度と微細な詳細の保持を強化する。
• 幾何構造と外観のブランチを、クロスドメイン特徴相互作用を介して統合し、リアリズムを向上させる。
• 敵対的損失と知覚的損失を用いてモデルを訓練することで、高忠実度の合成を保証する。

実験結果

リサーチクエスチョン

• RQ1 幾何構造と外観の両方の共同最適化は、複雑な画像生成におけるアーティファクトを低減できるか？
• RQ2 アテンションガイドド特徴適応は、前景オブジェクトにおける詳細の保持をどのように向上させるか？
• RQ3 階層的合成メカニズムは、被覆を伴う複数のオブジェクトをどの程度効果的に処理できるか？
• RQ4 両ドメインのエンドツーエンド学習は、段階的または別個の学習アプローチを上回る性能を発揮するか？
• RQ5 AC-GANは、シーンテキスト合成やインテリアレンダリングといった多様なタスクにおいて、どの程度の性能を示すか？

主な発見

• AC-GANは、シーンテキスト画像合成において優れた定性的な結果を達成し、よりリアリスティックで整合性のあるテキストレイアウトを生成した。
• モデルは、顔の詳細とリアリスティックな構図を保持する点で、自動ポートレート編集においても性能が向上した。
• インテリアレンダリングタスクでは、一貫性のある幾何構造とリアリスティックなテクスチャを持つシーンを生成した。
• アテンションマスクは、特に前景オブジェクトの高解像度領域における詳細の保持を顕著に向上させた。
• 定量的評価では、すべてのテストタスクにおいて、基準となるGANと比較して、フィducial指標および知覚的指標の両方で一貫した改善が確認された。
• 階層的合成メカニズムにより、被覆を伴う複雑な構成でさえも、リアリズムの劣化を伴わずに堅牢に処理できるようになった。