[論文レビュー] Learning Layout and Style Reconfigurable GANs for Controllable Image Synthesis

Wei Sun, Tianfu Wu|arXiv (Cornell University)|Mar 25, 2020

Generative Adversarial Networks and Image Synthesis参考文献 64被引用数 19

ひとこと要約

この論文では、再構成可能なレイアウトとスタイルコードから、新しいレイアウトからマスクへの変換パイプラインを介して制御可能な画像生成を実現するGANベースのフレームワーク、LostGANを提案する。本研究では、インスタンスに敏感でレイアウトに配慮した正規化（ISLA-Norm）を導入し、弱い教師信号に基づく細粒度のマスク生成と、画像レベルおよびオブジェクトレベルのスタイル・レイアウトに対する強力な制御を可能にした。トレーニング段階で真のマスクを必要としないため、COCO-StuffおよびVisual Genomeデータセットにおいて、最先端の性能を達成している。

ABSTRACT

With the remarkable recent progress on learning deep generative models, it becomes increasingly interesting to develop models for controllable image synthesis from reconfigurable inputs. This paper focuses on a recent emerged task, layout-to-image, to learn generative models that are capable of synthesizing photo-realistic images from spatial layout (i.e., object bounding boxes configured in an image lattice) and style (i.e., structural and appearance variations encoded by latent vectors). This paper first proposes an intuitive paradigm for the task, layout-to-mask-to-image, to learn to unfold object masks of given bounding boxes in an input layout to bridge the gap between the input layout and synthesized images. Then, this paper presents a method built on Generative Adversarial Networks for the proposed layout-to-mask-to-image with style control at both image and mask levels. Object masks are learned from the input layout and iteratively refined along stages in the generator network. Style control at the image level is the same as in vanilla GANs, while style control at the object mask level is realized by a proposed novel feature normalization scheme, Instance-Sensitive and Layout-Aware Normalization. In experiments, the proposed method is tested in the COCO-Stuff dataset and the Visual Genome dataset with state-of-the-art performance obtained.

研究の動機と目的

• 再構成可能な空間的レイアウトとスタイルコードからの制御可能な画像生成の課題に対処し、視覚的理解のためのシステマティックな分析-合成を可能にすること。
• 真のセグメンテーションマスクを必要とせず、レイアウトからオブジェクトマスクを弱い教師信号で学習する方法を開発し、Visual Genomeのようなデータセットへの適用性を高めること。
• 生成された画像における画像レベルおよびオブジェクトレベルのスタイル・レイアウト変動に対して、細粒度の制御を達成すること。
• オブジェクトインスタンスおよびレイアウト構造に敏感な新しい正規化方式を設計し、条件付き画像生成における特徴表現を向上させること。
• COCO-StuffおよびVisual Genomeデータセットにおけるレイアウトから画像への変換生成で最先端の性能を達成するとともに、強力な制御性を維持すること。

提案手法

• 本手法は、レイアウトからマスクへ、マスクから画像へと逐次処理するレイアウト→マスク→画像パイプラインを採用し、入力されたレイアウトとスタイルコードから弱い教師信号に基づいてマスクを予測した後、画像生成を行う。
• オブジェクトレベルの特徴と空間的レイアウト構造に適応するため、バッチ正規化を拡張した、新規のインスタンスに敏感でレイアウトに配慮した正規化（ISLA-Norm）層を導入し、より良い特徴調制を実現する。
• 生成器ネットワークは複数の層にISLA-Normを統合し、オブジェクトの識別子と空間的配置に基づいて動的に特徴を適応させる。
• 高精細な画像生成を保証するため、敵対的損失と知覚的損失を用いたGANフレームワークを用いて、エンドツーエンドでモデルを訓練する。
• 予測されたマスクの品質と空間的一致性を向上させるために、低解像度から高解像度へと段階的にマスクを精錬する反復的マスク精錬モジュールを採用する。
• 性能の低下を伴わずに一般化性能を向上させるために、ラベルなしデータを活用する半教師ありレイアウトバージョンを構築した。

実験結果

リサーチクエスチョン

• RQ1 真のマスクを必要としない弱い教師信号に基づくレイアウト→マスク→画像パイプラインは、マスクの真値がなくても画像生成における強い制御性を達成できるか？
• RQ2 ISLA-Normは、オブジェクトの外観とレイアウト構造に対して、分離可能なインスタンスレベルの制御をどの程度可能にするか？
• RQ3 例えば、オブジェクトの追加や摂動を加えた場合など、レイアウトの再構成に対しても、スタイルの一貫性をどの程度維持できるか？
• RQ4 一括処理のマスク予測と比較して、反復的マスク精錬プロセスはマスク品質および画像品質を顕著に向上させるか？
• RQ5 マスクアノテーションのないデータセット、例えばVisual Genomeに対して、モデルは最先端の性能を維持しながら一般化できるか？

主な発見

• COCO-Stuffデータセットにおいて、256×256解像度で、Inceptionスコア81.4およびFID15.7という最先端の性能を達成した。
• Visual Genomeデータセットでは、FIDが25.3を記録し、真のマスクをトレーニング時に必要とするGrid2Imを含む先行手法を上回った。
• アブレーションスタディの結果、マスク精錬ステージを削除すると性能が低下するが、最初の精錬ステージ（$m_1$）を削除しても結果は向上せず、低解像度出力が不適切であることが示された。
• モデルは強力なスタイル制御性を示した：たとえば人物のスタイルコードを変更するだけで、レイアウトや他のオブジェクトのスタイルを維持したまま、多様な外観の画像を生成できた。
• レイアウト変更に対してもオブジェクトのスタイルを一貫して保持できた—例えば、雪の領域は新しいオブジェクト（山や木）を追加しても一貫性を保った。これは、Grid2Imを上回る性能であった。
• 失敗事例から、細かなオブジェクト同士の相互作用（例：人物とテニスラケット）のモデリングに限界があることが判明し、今後の研究では部位レベルのマスク監視の導入が求められる。