[論文レビュー] Text2Scene: Generating Compositional Scenes from Textual Descriptions

Fuwen Tan, Song Feng+1 more|arXiv (Cornell University)|Sep 4, 2018

Multimodal Machine Learning Applications参考文献 49被引用数 12

ひとこと要約

Text2Scene は、テキストとシーン状態の両方に対するクロスアテンションを用いて、段階的にオブジェクトとその属性を予測することで、自然言語記述から構成的シーン表現を生成する GAN を使わない、シーケンス・ツー・シーケンスのフレームワークを提案する。この手法は、抽象的シーン、オブジェクトレイアウト、合成画像コンポジットの3つのタスクにおいて、人間評価で最先端の性能を達成し、自動評価では準最先端の性能を示しており、解釈可能で分離可能な生成が可能である。

ABSTRACT

In this paper, we propose Text2Scene, a model that generates various forms of compositional scene representations from natural language descriptions. Unlike recent works, our method does NOT use Generative Adversarial Networks (GANs). Text2Scene instead learns to sequentially generate objects and their attributes (location, size, appearance, etc) at every time step by attending to different parts of the input text and the current status of the generated scene. We show that under minor modifications, the proposed framework can handle the generation of different forms of scene representations, including cartoon-like scenes, object layouts corresponding to real images, and synthetic images. Our method is not only competitive when compared with state-of-the-art GAN-based methods using automatic metrics and superior based on human judgments but also has the advantage of producing interpretable results.

研究の動機と目的

• 自然言語から多様なシーン表現を生成する統一的で解釈可能なフレームワークの開発。
• GAN に依存しないコンポジショナルシーン生成の課題に取り組み、通常の GAN では解釈不能な結果が生じるのを回避する。
• 空間的関係、間接的な属性参照、オブジェクトの依存関係といった複雑な言語的手がかりを処理する。
• 微調整を最小限に抑えて、1つのアーキテクチャで抽象的シーン、意味的オブジェクトレイアウト、合成画像コンポジットの生成を可能にする。
• アテンション機構を用いてオブジェクトと属性の予測を段階的にモデル化することで、テキストからシーンへの生成における解釈可能性と分離性を向上させる。

提案手法

• 入力文の潜在表現を生成するためのテキストエンコーダを備えた、シーケンス・ツー・シーケンスアーキテクチャを採用。
• 各時刻ステップで、生成中のシーンキャンバスの現在の状態をエンコードするための画像エンコーダを活用。
• 生成履歴における空間的・時間的記憶を保持するための畳み込み再帰モジュールを適用。
• 2つのクロスアテンション機構を用いる：1つはオブジェクト予測のための関連するテキスト部分への注目、もう1つは属性予測（例：位置、サイズ、ポーズ）のための注目。
• 合成画像生成のためのオプションのフォアグラウンド埋め込みモジュールを統合し、意味的文脈に基づいたピクチャーパッチの検索を可能にする。
• オブジェクト、位置、ポーズ、表現、サイズ、アスペクト比、外観属性の各項目に対して学習可能な重みを有するマルチコンponent損失関数を用いて、エンド・ツー・エンドで訓練。

実験結果

リサーチクエスチョン

• RQ1 GAN を使わない、アテンションに基づくシーケンス・ツー・シーケンスモデルは、自然言語記述から多様で整合性のあるコンポジショナルシーンを生成できるか？
• RQ2 このようなモデルは、感情表現が顔の属性を示唆するような間接的な言語的手がかり（例：「怒った顔」）や、空間的依存関係（例：「向かって走る」）をどれほど適切に処理できるか？
• RQ3 統一されたフレームワークは、抽象的シーン、実物オブジェクトのレイアウト、合成画像コンポジットの3つにわたってどれほど一般化できるか？
• RQ4 GAN を使用しないことで、最先端の GAN ベース手法と比較して、シーン生成における解釈可能性と分離性が向上するか？
• RQ5 異なるシーンタイプにおいて、自動評価指標と人間評価の両方で、このモデルの性能は SOTA メソッドと比べてどの程度か？

主な発見

• 抽象的シーンデータセットにおいて、Text2Scene は人間評価で報告済みの最高性能を上回り、入力記述との整合性が優れていることが示された。
• COCO データセットでは、レイアウト生成および合成画像生成の両タスクにおいて、自動評価指標で準最先端の性能を達成した。
• 人間評価の結果、Text2Scene は SG2IM や HDGAN、AttnGAN といった最先端の GAN ベースモデルよりも、複雑な空間的および意味的関係をより正確に捉えた自然なシーンを生成していることが判明した。
• 定性的な結果から、モデルは入力記述に適合しつつも、繰り返しのない多様なシーンを生成しており、記憶の再現を超えた強力な一般化能力を示している。
• モデル内のアテンション機構は、明確に意味的に関連する語に注目している（例：ホットドッグを置く際の「Mike」と「holding」）。これにより、解釈可能性と言語的根拠の明確化が実証された。
• 合成画像生成の文脈では、モデルが文脈的に適切な画像パッチを正しく検索できており、単なるレイアウト一致を超えた意味的理解が学習されていることが示された。