[論文レビュー] Modeling Image Composition for Complex Scene Generation

Zuopeng Yang, Daqing Liu+3 more|arXiv (Cornell University)|Jun 2, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、空間的レイアウト事前知識を活用することで、複雑なシーン生成においてオブジェクトレベルの関係性とピクセルブロックレベルのインスタンス構造を分離する、フォーカルアテンションを備えたトランスフォーマー（TwFA）を提案する。オブジェクトトークンに対してはグローバルな関係性を、オブジェクトのバウンディングボックス内にあるピクセルブロックトークンに対してはローカルな構造をそれぞれに限定してアテンションを実行することで、TwFAはCOCO-stuffで22.15、Visual Genomeで17.74という最先端のFIDスコアを達成するとともに、最小限のデータで効果的な少データ学習を可能にする。

ABSTRACT

We present a method that achieves state-of-the-art results on challenging (few-shot) layout-to-image generation tasks by accurately modeling textures, structures and relationships contained in a complex scene. After compressing RGB images into patch tokens, we propose the Transformer with Focal Attention (TwFA) for exploring dependencies of object-to-object, object-to-patch and patch-to-patch. Compared to existing CNN-based and Transformer-based generation models that entangled modeling on pixel-level&patch-level and object-level&patch-level respectively, the proposed focal attention predicts the current patch token by only focusing on its highly-related tokens that specified by the spatial layout, thereby achieving disambiguation during training. Furthermore, the proposed TwFA largely increases the data efficiency during training, therefore we propose the first few-shot complex scene generation strategy based on the well-trained TwFA. Comprehensive experiments show the superiority of our method, which significantly increases both quantitative metrics and qualitative visual realism with respect to state-of-the-art CNN-based and transformer-based methods. Code is available at https://github.com/JohnDreamer/TwFA.

研究の動機と目的

• 複数のオブジェクトを含み、正確な関係性と細部のテクスチャを有する写真のようにリアルな複雑なシーンを生成する課題に対処すること。
• 畳み込みニューラルネットワーク（CNN）ベースおよびトランスフォーマー基盤の手法が同時にピクセルブロックレベルとオブジェクトレベルの表現を学習するという、エンタングルドモデリングの限界を克服すること。
• オブジェクトレベルとピクセルブロックレベルの構成モデリングを分離することで、少データ学習におけるデータ効率を向上させること。
• 最小限の監視情報で、レイアウト条件（バウンディングボックスとカテゴリ）から高精細で制御可能な画像生成を可能にすること。

提案手法

• 事前学習済みの圧縮モデルを用いて、入力RGB画像を離散的ピクセルブロックトークンに圧縮する。
• オブジェクトトークンとピクセルブロックトークンを区別して別々にモデリングする、フォーカルアテンションを備えたトランスフォーマー（TwFA）を導入する。
• オブジェクトレベルのアテンションを適用し、各オブジェクトトークンが他のすべてのオブジェクトトークンに注目することで、グローバルな空間的関係性を捉える。
• ピクセルブロックレベルのアテンションを適用し、各ピクセルブロックトークンが属するオブジェクトおよび同じオブジェクトのバウンディングボックス内にある他のピクセルブロックにのみ注目する。
• レイアウトに従った接続性行列を用いてアテンション制約を強制することで、関連するトークンのみに注目させ、ノイズを低減し、曖昧さの解消を図る。
• 新しいオブジェクトカテゴリの少数の画像で事前学習済みのTwFAモデルを微調整し、少データ学習による複雑なシーン生成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 自己アテンション機構を再設計することで、画像生成においてオブジェクトレベルの関係性とピクセルブロックレベルのインスタンス構造を分離可能か？
• RQ2 アテンション機構に空間的レイアウト事前知識を組み込むことで、生成品質とデータ効率が向上するか？
• RQ3 分離可能なアテンション機構により、最小限の学習データで新しいオブジェクトカテゴリの効果的な少データ画像生成が可能か？
• RQ4 フォーカルアテンションは、標準的な自己アテンションおよびグリッドベースのアテンションと比較して、複雑なシーン構成のモデリングにおいて優れているか？

主な発見

• TwFAはCOCO-stuffデータセットで22.15というFIDスコアを達成し、以前の最先端（29.56）から25.1%の改善を達成した。
• Visual GenomeデータセットではFIDを19.14から17.74に低下させ、相対的に7.3%の改善を達成した。
• 少データL2I生成において、TwFAは50ショットでFIDが31.53、オブジェクト固有FID（Obj-FID）が26.73を達成し、ベースラインのGrid16*（FID: 37.47、Obj-FID: 32.81）を上回った。
• アブレーションスタディの結果、オブジェクト同士の相互作用がグローバル構造推論において極めて重要であり、オブジェクト-ピクセルブロックおよびピクセルブロック-ピクセルブロックの相互作用が写真的リアリズムの向上に顕著に寄与することが確認された。
• 提案されたフォーカルアテンション機構は、グリッドベースのアテンション（Grid4、Grid16）を上回り、特に細部の保持とオブジェクトの整合性を保つ点で優れた視覚的品質を達成した。
• 可視化結果から、TwFAは2～50ショットの新しいオブジェクトデータですら、顔、シロナガスクジラ、ペンギンなどの対象物をより明確で構造的な形で生成していることが示された。