[論文レビュー] BachGAN: High-Resolution Image Synthesis from Salient Object Layout

Yandong Li, Yu Cheng+4 more|arXiv (Cornell University)|Mar 26, 2020

Generative Adversarial Networks and Image Synthesis参考文献 39被引用数 5

ひとこと要約

BachGANは、顕著なオブジェクトレイアウト（バウンディングボックスとオブジェクトカテゴリのみ）から高解像度画像を合成するという新しいタスクを提示する。背景検索モジュールと背景融合モジュールを組み合わせることで、現実的で整合性のある背景を想起（ホールセネート）する。この手法は、CityscapesおよびADE20Kの両データセットにおいて、FIDスコアおよび人間の好みの評価において、ベースラインを上回る最先端の性能を達成した。

ABSTRACT

We propose a new task towards more practical application for image generation - high-quality image synthesis from salient object layout. This new setting allows users to provide the layout of salient objects only (i.e., foreground bounding boxes and categories), and lets the model complete the drawing with an invented background and a matching foreground. Two main challenges spring from this new task: (i) how to generate fine-grained details and realistic textures without segmentation map input; and (ii) how to create a background and weave it seamlessly into standalone objects. To tackle this, we propose Background Hallucination Generative Adversarial Network (BachGAN), which first selects a set of segmentation maps from a large candidate pool via a background retrieval module, then encodes these candidate layouts via a background fusion module to hallucinate a suitable background for the given objects. By generating the hallucinated background representation dynamically, our model can synthesize high-resolution images with both photo-realistic foreground and integral background. Experiments on Cityscapes and ADE20K datasets demonstrate the advantage of BachGAN over existing methods, measured on both visual fidelity of generated images and visual alignment between output images and input layouts.

研究の動機と目的

• 顕著なオブジェクトのバウンディングボックスとカテゴリのみを入力として、セグメンテーションマップや背景レイアウトを必要としない高解像度で写真のような画像を生成する課題に対処すること。
• 背景情報が提供されない状況で、細かいテクスチャや現実的な背景を生成する難しさを克服すること。
• 単独の前景オブジェクトとシームレスに統合できる、動的かつリアルタイムの背景想起メカニズムを開発すること。
• レイアウトに段階的にオブジェクトを追加することで、視覚的一致性を保ちながら制御可能な画像合成を可能にすること。

提案手法

• 背景検索モジュールは、入力された顕著なオブジェクトレイアウトに基づいて、大規模な候補プールから関連するセグメンテーションマップを選択する。
• 背景融合モジュールは、取得したセグメンテーションマップを符号化し、入力レイアウトに適合した統一された、想起された背景表現を生成する。
• 融合された背景表現は、条件付きGANフレームワーク内でSPADE正規化を用いて前景オブジェクト特徴と組み合わせられ、高解像度画像が生成される。
• メモリバンクを用いて代表的な背景レイアウトを格納・取得することで、生成された背景の多様性と現実性が向上する。
• 敵対的損失と知覚的損失を用いて、エンドツーエンドに訓練されることで、視覚的忠実度とレイアウト整合性が保証される。
• 検索と統合のパイプラインにより、明示的な背景アノテーションが不要な状態で、文脈に適応した動的背景生成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 顕著なオブジェクトのバウンディングボックスとカテゴリのみが与えられた状況で、セグメンテーションマップや背景レイアウトが一切ない状態でも、高解像度で写真のような画像を生成できるか？
• RQ2 入力に背景情報が存在しない場合、効果的に現実的で整合性のある背景を想起するにはどうすればよいか？
• RQ3 レイアウトからの直接生成と比較して、検索・統合メカニズムが背景の整合性と視覚的品質をどの程度向上できるか？
• RQ4 取得したセグメンテーションマップの数やメモリバンクのサイズは、生成画像の品質と多様性にどのように影響するか？
• RQ5 レイアウトに段階的にオブジェクトを追加することで、視覚的一致性を保ちながら制御可能な画像合成を実現できるか？

主な発見

• BachGANは、5枚のセグメンテーションマップを取得した場合、Cityscapesデータセットで72.95のFréchet Inception Distance (FID) スコアを達成し、優れた画像品質を示した。
• 人間の好みの評価において、BachGANはLayout2imと比較して96.0％の選択率を示し、視覚的リアリズムとレイアウト整合性に優れたことが示された。
• BachGANは、SPADE（85.5％の勝率）およびSPADE-SEG（71.7％の勝率）を上回り、ユーザーの好みと画像品質の両面で顕著な向上を示した。
• メモリバンクを2倍のサイズにしたモデルでは、FIDスコアが73.31から72.50に改善され、メモリバンクサイズの拡大が性能向上に寄与することが示された。
• アブレーションスタディにより、取得マップ数を3から5に増やすことでFIDスコアはわずかに改善されたが、その増加は限定的であったため、実用的にはm=3を採用することが妥当であると確認された。
• BachGANは、オブジェクトの反転や非標準的な配置といったレイアウトの操作に対しても頑健であり、現実的で整合性のある背景を持つ妥当な画像を生成した。