[論文レビュー] Image Synthesis From Reconfigurable Layout and Style

Wei Sun, Tianfu Wu|arXiv (Cornell University)|Aug 20, 2019

Generative Adversarial Networks and Image Synthesis参考文献 38被引用数 7

ひとこと要約

この論文は、再構成可能なレイアウト（クラスラベル付きの境界ボックス）と分離されたスタイル潜在コードから、高解像度（最大128×128）の画像を生成する生成的対抗ネットワーク、LostGANsを提案する。一貫性があり、多様性があり、レイアウトの摂動やスタイルの変化に適応可能な画像生成を可能にするために、弱教師付きマスク学習とインスタンス固有のレイアウトに適応した正則化（ISLA-Norm）を導入した。COCO-StuffおよびVisual Genomeデータセットにおいて、最先端の性能を達成した。

ABSTRACT

Despite remarkable recent progress on both unconditional and conditional image synthesis, it remains a long-standing problem to learn generative models that are capable of synthesizing realistic and sharp images from reconfigurable spatial layout (i.e., bounding boxes + class labels in an image lattice) and style (i.e., structural and appearance variations encoded by latent vectors), especially at high resolution. By reconfigurable, it means that a model can preserve the intrinsic one-to-many mapping from a given layout to multiple plausible images with different styles, and is adaptive with respect to perturbations of a layout and style latent code. In this paper, we present a layout- and style-based architecture for generative adversarial networks (termed LostGANs) that can be trained end-to-end to generate images from reconfigurable layout and style. Inspired by the vanilla StyleGAN, the proposed LostGAN consists of two new components: (i) learning fine-grained mask maps in a weakly-supervised manner to bridge the gap between layouts and images, and (ii) learning object instance-specific layout-aware feature normalization (ISLA-Norm) in the generator to realize multi-object style generation. In experiments, the proposed method is tested on the COCO-Stuff dataset and the Visual Genome dataset with state-of-the-art performance obtained. The code and pretrained models are available at \url{https://github.com/iVMCL/LostGANs}.

研究の動機と目的

• 再構成可能なレイアウトとスタイルから現実的で高解像度の画像を生成する課題に対処し、1対多のマッピングを保持するとともに、レイアウト／スタイルの摂動に適応できるようにする。
• 低解像度（例：64×64）に限定され、十分なスタイル多様性を欠く既存のレイアウトから画像へのモデルを改善すること。
• 空間的一致性とオブジェクトの同一性を維持しながら、インスタンスレベルの細かいスタイル制御を可能にすること。
• 教師付きセグメンテーションマスクを必要とせず、弱教師付きで意味的マスクマップを学習すること。
• 画像の質、多様性、レイアウトの一貫性を同時に最適化するエンドツーエンドのGAN訓練を達成すること。

提案手法

• オブジェクトインスタンス固有のレイアウトに適応した特徴正則化（ISLA-Norm）を備えたResNetに基づく新しい生成器アーキテクチャを導入し、オブジェクトごとのスタイル制御を可能にする。
• 教師付きマスクを必要とせず、アテンションベースのマスク重みを用いてレイアウト入力と画像出力の間を橋渡しする、細粒度マスクマップの弱教師付き学習を採用する。
• 生成的対抗ネットワーク（GAN）フレームワークを採用し、判別器もResNetに基づいており、リアルさとレイアウトの一貫性を強制するためにエンドツーエンドで訓練される。
• 潜在スタイルコードを活用して外観と構造を制御し、同じレイアウトから多様な画像を生成可能にする。
• 128×128での高解像度画像生成を安定化・向上させるために、マルチスケールトレーニング戦略を採用する。
• 画像の忠実性と詳細を最適化するために、対抗損失、知覚的損失、L1損失の組み合わせを用いる。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデルは、再構成可能なレイアウトと分離されたスタイルコードから、高解像度（128×128）の画像を生成可能であり、1対多のマッピングを保持できるか？
• RQ2 教師付きセグメンテーションマスクを必要とせず、境界ボックスレイアウトから意味的マスクマップを有意義に学習できるか？
• RQ3 レイアウトが摂動された場合（例：境界ボックスの追加や移動）でも、オブジェクトの同一性と空間的一致性を維持できるか？
• RQ4 インスタンスレベルのスタイル制御はどの程度達成可能か？各オブジェクトの外観を独立して操作できるか？
• RQ5 提案されたISLA-Normレイヤーは、視覚的品質と多様性の向上を実現する多対象スタイル生成に効果的か？

主な発見

• LostGANは、64×64解像度でCOCO-Stuffデータセットにおいて、インセプションスコア28.81、FID15.6を達成し、先行研究のLayout2Imを上回った。
• 128×128解像度でも、インセプションスコア28.70、FID16.2を維持し、高解像度へのスケーラビリティを示した。
• レイアウト2Imと比較して多様性スコアが顕著に向上し、優れたスタイル多様性と効果的な1対多マッピングを示した。
• 分類精度スコア（CAS）はCOCO-Stuffで28.70、Visual Genomeで25.89を記録し、オブジェクト認識への一般化性能が優れたことを示した。
• 定性的な結果から、特にレイアウトの摂動下でも、LostGANは先行手法よりも視覚的に現実的で意味的に整合性のある画像を生成することが確認された。
• アブレーションスタディにより、ISLA-Normと弱教師付きマスク学習がレイアウトの一貫性とスタイル制御を顕著に向上させたことが確認された。