[論文レビュー] MIGS: Meta Image Generation from Scene Graphs

Azade Farshad, Sabrina Musatian+2 more|arXiv (Cornell University)|Oct 22, 2021

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

MIGSは、シーングラフからの少サンプル画像生成のためのメタラーニングフレームワークを提案し、限られたトレーニング例ですべての多様性と現実性に富んだ画像合成を可能にした。事前学習済みジェネレータをメタ最適化された初期化でファインチューニングすることにより、BDD100kおよびAction Genomeでベースライン手法を著しく上回り、FIDおよびKIDスコアが最大2倍向上し、少サンプル設定でも精度/再現率が向上した。

ABSTRACT

Generation of images from scene graphs is a promising direction towards explicit scene generation and manipulation. However, the images generated from the scene graphs lack quality, which in part comes due to high difficulty and diversity in the data. We propose MIGS (Meta Image Generation from Scene Graphs), a meta-learning based approach for few-shot image generation from graphs that enables adapting the model to different scenes and increases the image quality by training on diverse sets of tasks. By sampling the data in a task-driven fashion, we train the generator using meta-learning on different sets of tasks that are categorized based on the scene attributes. Our results show that using this meta-learning approach for the generation of images from scene graphs achieves state-of-the-art performance in terms of image quality and capturing the semantic relationships in the scene. Project Website: https://migs2021.github.io/

研究の動機と目的

• 少数のトレーニング例でのシーングラフからの多様で現実的な画像生成の課題に対処すること。
• 少サンプル状況下で一般化や記憶に問題を抱える既存モデル（例：SG2Im）の限界を克服すること。
• 画像生成モデルのメタ最適化初期化を学習することで、ゼロショットおよび少サンプル一般化を向上させること。
• 最小限の監視情報で、照明、オブジェクトの外観など多様な属性を含む高精細な画像合成を可能にすること。
• BDD100kやAction Genomeなどの実世界データセットで、複数のショット設定（5、10、160ショット）にわたる強力な性能を示すこと。

提案手法

• メタラーニングパラダイムを採用し、少数ショットのファインチューニングにより、新しい画像生成タスクに素早く適応できるようにモデルを訓練する。
• グラフ畳み込みネットワーク（GCN）を用いて、主語、動詞、目的語の関係性を含むシーングラフ構造をノード埋め込みに変換する。
• レイアウトとセマンティックマップを用いて、シーングラフ入力を条件とする画像ジェネレータ（SPADEまたはCRN）を統合する。
• メタ最適化を適用し、5〜160枚のサポート画像でのみの適応が可能な、ジェネレータの初期化を学習する。
• 各タスクに対して、少量のサポート画像とそれに対応するシーングラフを用いてモデルをファインチューニングし、クエリ用のシーングラフに対して画像を生成する。
• 一般化性と生成画像の多様性を検証するため、知覚的および指標ベースの評価（FID、KID、精度/再現率）を活用する。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングは、トレーニングサンプルの記憶を減らしながら、シーングラフからの少サンプル画像生成を改善できるか？
• RQ2 MIGSは、5、10、160ショットという異なるショット設定において、多様で現実的な画像をどれほど効果的に生成できるか？
• RQ3 サポートセットに存在しない未観測の属性（例：照明条件、オブジェクトの色）に対して、MIGSはどの程度一般化できるか？
• RQ4 FIDやモードカバレッジの観点から、SG2Imなどのベースラインモデルと比較してMIGSは画像の忠実度や多様性に優れているか？
• RQ5 MIGSは、多様な実世界シナリオにおいて、シーングラフ内の複雑な意味的関係を効果的に捉えることができるか？

主な発見

• BDD100kで5ショット学習において、MIGS + SPADEは再現率（F₈）0.74、精度（F₁/₈）0.823を達成し、ベースラインのSG2Im + SPADE（F₈: 0.329、F₁/₈: 0.438）を上回った。
• Action Genomeデータセットでは、MIGS + SPADEがF₈ = 0.60、F₁/₈ = 0.50を達成し、SG2Im + SPADE（F₈: 0.59、F₁/₈: 0.31）を顕著に上回った。
• トレーニング用サポートセットにない属性（例：異なる車の色、照明条件）を含む画像を生成し、記憶にとどまらない強力な一般化能力を示した。
• 160ショットおよび10ショット設定では、雲や道路の反射といった細部まで高精細に再現された画像を生成したが、5ショットでは多様性と詳細さに限界があった。
• ユーザースタディーの結果、MIGSが生成した画像は、ベースラインと比較して知覚的に好まれやすく、指定された属性（例：昼間、夜間）ともよく一致した。
• FIDやKIDといった定量的指標では、MIGSがベースラインモデルよりも実データ分布に近く、多様性と現実性に優れた画像を生成したことが示された。