[論文レビュー] Make-A-Scene: Scene-Based Text-to-Image Generation with Human Priors

Oran Gafni, Adam Polyak+4 more|arXiv (Cornell University)|Mar 24, 2022

Generative Adversarial Networks and Image Synthesis被引用数 16

ひとこと要約

本論文では、セグメンテーショントークンを介してシーンプライアを統合することで制御性と画像品質を向上させる、Make-A-Sceneというテキストから画像を生成するモデルを紹介する。顔や顕著なオブジェクトに対して人間の知覚に配慮した損失関数を適用し、トランスフォーマーに適合した分類器フリー正則化を適用することで、512×512解像度で最先端のFID（4.69）と人間の好みスコアを達成した。これにより、シーン編集、アンカーモード付きのテキスト編集、物語の図版生成といった高度な機能が可能になった。

ABSTRACT

Recent text-to-image generation methods provide a simple yet exciting conversion capability between text and image domains. While these methods have incrementally improved the generated image fidelity and text relevancy, several pivotal gaps remain unanswered, limiting applicability and quality. We propose a novel text-to-image method that addresses these gaps by (i) enabling a simple control mechanism complementary to text in the form of a scene, (ii) introducing elements that substantially improve the tokenization process by employing domain-specific knowledge over key image regions (faces and salient objects), and (iii) adapting classifier-free guidance for the transformer use case. Our model achieves state-of-the-art FID and human evaluation results, unlocking the ability to generate high fidelity images in a resolution of 512x512 pixels, significantly improving visual quality. Through scene controllability, we introduce several new capabilities: (i) Scene editing, (ii) text editing with anchor scenes, (iii) overcoming out-of-distribution text prompts, and (iv) story illustration generation, as demonstrated in the story we wrote.

研究の動機と目的

• テキストのみを入力として使用するテキストから画像への生成における制御性の欠如を解消し、ユーザーが画像の構造やレイアウトに対して影響を及けるのを制限する。
• 顔や顕著なオブジェクトに対して人間の知覚プライアを組み込むことで、256×256を超える解像度での画像品質と解像度を向上させる。
• シーンベースの条件付けを通じて、シーン編集、アンカードシーンを用いたテキスト編集、物語の図版生成といった、新たなクリエイティブな機能を実現する。
• 生成後のフィルタリングに依存するのを減らすために、分類器フリー正則化をトランスフォーマーに基づく自己回帰モデルに直接統合する。

提案手法

• モデルは、テキスト、画像、シーントークンを同時に生成する自己回帰型トランスフォーマーを採用しており、シーントークンはセグメンテーションマップから得られ、暗黙的な条件付けを提供する。
• シーントークンはモデルが生成するか、入力のスケッチから抽出されるため、セグメンテーションと画像生成の間の厳密な整合性を強制せず、柔軟な制御が可能になる。
• 画像とシーントークンの符号化および復元に、顔や顕著なオブジェクトに特に焦点を当てた2つの修正版ベクトル量子化変分オートエンコーダー（VQ-VAEs）を用いる。
• オブジェクト認識損失および顔認識損失を導入し、特徴マッチングを用いて人間の知覚的に重要な領域に重点を置くことで、視覚的忠実度を向上させる。
• 分類器フリー正則化をトランスフォーマーに基づくモデルに適合させ、生成後の画像ランク付けの必要性を排除し、生成品質を向上させる。
• テキストのみの生成、シーン条件付き生成、シーン編集、アンカードシーンを用いたテキスト編集といった、複数の制御モードをサポートする。

実験結果

リサーチクエスチョン

• RQ1 テキスト入力に加えてシーンベースの条件付けを用いることで、構造的一致性と制御性が向上するか？
• RQ2 顔や顕著なオブジェクトに対する人間の知覚プライアを組み込むことで、画像品質と人間の好みにどのような影響を与えるか？
• RQ3 トランスフォーマーに基づく自己回帰モデルは、512×512解像度で、忠実度を向上させ、アーチファクトを減らすことで最先端の性能を達成できるか？
• RQ4 シーン制御により、シーン編集、分布外生成、物語の図版生成といった、新たな機能をどの程度実現できるか？
• RQ5 分類器フリー正則化をトランスフォーマーに適応させることで、後処理を要せず生成品質が向上するか？

主な発見

• シーン入力に分類器フリー正則化を適用した場合、本モデルは4.69という最先端のFIDスコアを達成し、従来手法を大きく上回った。
• 人間の好み評価では、オブジェクト認識学習を施した512×512モデルが、画像品質について76.8％の好意的評価を得ており、低解像度モデルや非知覚的モデルを上回った。
• シーントークンの導入により、画像の現実性（65.3％）とテキストとの整合性（58.3％）が、ベースモデルと比較して向上した。
• 顔認識学習により、FIDは18.01から14.45に低下し、画像品質の好みは63.6％に上昇した。
• 分類器フリー正則化単体でも、FIDは7.55に低下し、現実性と整合性の好みは66.8％に上昇した。
• 本モデルは、空を海に変更するようなシーン編集や、アンカードシーンを用いたテキスト編集といった、新たな機能を実現し、一貫性とクリエイティブな制御性の向上を示した。