[論文レビュー] FBC-GAN: Diverse and Flexible Image Synthesis via Foreground-Background Composition

Kaiwen Cui, Gongjie Zhang+3 more|arXiv (Cornell University)|Jul 7, 2021

Generative Adversarial Networks and Image Synthesis参考文献 61被引用数 5

ひとこと要約

FBC-GANは、スタイルおよび幾何的整合性を保ちながら、前景オブジェクトと背景シーンを独立して合成することで画像を生成する、画期的なGANアーキテクチャを提案する。前景と背景の生成を分離することで、異なるデータセット間のゼロショット合成を含め、優れた多様性と柔軟性を達成する。同時に、適応的スタイルアライメントと幾何補正により視覚的リアリズムを維持する。

ABSTRACT

Generative Adversarial Networks (GANs) have become the de-facto standard in image synthesis. However, without considering the foreground-background decomposition, existing GANs tend to capture excessive content correlation between foreground and background, thus constraining the diversity in image generation. This paper presents a novel Foreground-Background Composition GAN (FBC-GAN) that performs image generation by generating foreground objects and background scenes concurrently and independently, followed by composing them with style and geometrical consistency. With this explicit design, FBC-GAN can generate images with foregrounds and backgrounds that are mutually independent in contents, thus lifting the undesirably learned content correlation constraint and achieving superior diversity. It also provides excellent flexibility by allowing the same foreground object with different background scenes, the same background scene with varying foreground objects, or the same foreground object and background scene with different object positions, sizes and poses. It can compose foreground objects and background scenes sampled from different datasets as well. Extensive experiments over multiple datasets show that FBC-GAN achieves competitive visual realism and superior diversity as compared with state-of-the-art methods.

研究の動機と目的

• 前景と背景の間の過剰なコンテンツ相関が、従来のGANが多様な画像を生成するのを制限するという問題を解決する。
• 通常のGANが1段階の潜在変数依存生成にとどまることによる柔軟性の欠如を克服する。
• 前景および背景コンテンツを独立して制御可能にし、同じ前景に異なる背景を組み合わせる、あるいは逆に同じ背景に異なる前景を組み合わせるなど、柔軟な組み合わせを可能にする。
• ペairedトレーニングデータを必要とせず、独立して生成された前景および背景部品間のスタイルおよび幾何的整合性を確保する。
• 異なるデータセットからの前景および背景を組み合わせることで、ゼロショットでの画像生成を実現し、トレーニングデータ分布を超えた新規で現実的なコンポジションを生成する。

提案手法

• 画像生成を2つの独立したブランチに分解：前景生成器（FG-Gen）と背景生成器（BG-Gen）、それぞれが別個の潜在コードで条件付けられる。
• AdaINベースのスタイルアライメントを適用し、前景特徴を生成された背景のスタイルに適応させ、視覚的調和を確保する。
• 形状生成器（S-Gen）を導入し、前景オブジェクトのレイアウト（位置、サイズ、ポーズ）を予測する。また、背景特徴を幾何的妥当性に合わせて調整する背景修正モジュール（BG-Mod）を導入する。
• 空間的整合性を保ちながら、生成された前景と背景を融合するコンポジションモジュールを用いる。両者の意味的および構造的整合性を維持する。
• 敵対的損失、サイクル整合性損失、および知覚的損失を用いて、エンドツーエンドでモデルを訓練し、リアリズムおよびアライメントを確保する。
• 分離された潜在空間を活用することで、異なるデータセットからの前景および背景をゼロショットで組み合わせることが可能になる。

実験結果

リサーチクエスチョン

• RQ1 独立した前景および背景生成によって、不適切なコンテンツ相関を低減し、画像生成の多様性を向上させることができるか？
• RQ2 独立して生成された前景および背景部品間で、スタイルおよび幾何的整合性をどのように確保できるか？
• RQ3 FBC-GANは、異なるデータセットからの前景および背景を組み合わせることで、どれほど現実的で新しいコンポジションを生成できるか？
• RQ4 提案手法により、再トレーニングや追加の条件付けなしに、オブジェクトの位置、サイズ、ポーズを柔軟に制御できるか？
• RQ5 FBC-GANは、最先端のGANと比較して、画像生成における多様性およびリアリズムで優れているか？

主な発見

• FBC-GANは、前景と背景のコンテンツ学習を分離することで、不自然な共起相関を低減し、画像生成における優れた多様性を達成した。
• スタイルアライメント機構により、5つのデータセットで測定したスタイル関連性（Style Relevance）の観点から、前景と背景のスタイル適合性が顕著に向上した。
• BG-Modによる幾何アライメントは、知覚的品質および幾何的妥当性を向上させた。定性的なアブレーションでは、空間的整合性の明確な改善が確認された。
• FBC-GANは、異なるデータセットからの前景および背景を組み合わせることで、トレーニングデータの分布を超えた「新しい情報」を生成する現実的なコンポジションを成功裏に生成した。
• モデルは、同じ前景に複数の背景を組み合わせる、または同じ背景に異なる前景を組み合わせるゼロショットコンポジションを可能にした。位置、サイズ、ポーズの変更も含む。
• 定量的評価では、FBC-GANが、特にゼロショットおよび異種データセット設定において、視覚的リアリズムと多様性の両面で既存手法を上回った。