[論文レビュー] Interactive Image Generation Using Scene Graphs

Gaurav Mittal, Shubham Agrawal+3 more|arXiv (Cornell University)|May 9, 2019

Multimodal Machine Learning Applications参考文献 19被引用数 28

ひとこと要約

本論文は、シーングラフを用いたインタラクティブで段階的な画像生成フレームワークを提案する。このフレームワークは、新しいシーングラフ情報が追加されるたびに、以前に生成されたコンテンツを保持しながら画像を段階的に精錬する。グラフ畳み込みネットワーク（GCNs）と再帰的GANアーキテクチャを組み合わせ、知覚的正則化を適用することで、中間の教師なし学習を必要とせず、高品質で視覚的に一貫性のある複数オブジェクト画像を生成する。MS-COCOデータセットにおいて、インセプションスコアと知覚的一貫性の両面で、先行研究を上回る結果を達成した。

ABSTRACT

Recent years have witnessed some exciting developments in the domain of generating images from scene-based text descriptions. These approaches have primarily focused on generating images from a static text description and are limited to generating images in a single pass. They are unable to generate an image interactively based on an incrementally additive text description (something that is more intuitive and similar to the way we describe an image). We propose a method to generate an image incrementally based on a sequence of graphs of scene descriptions (scene-graphs). We propose a recurrent network architecture that preserves the image content generated in previous steps and modifies the cumulative image as per the newly provided scene information. Our model utilizes Graph Convolutional Networks (GCN) to cater to variable-sized scene graphs along with Generative Adversarial image translation networks to generate realistic multi-object images without needing any intermediate supervision during training. We experiment with Coco-Stuff dataset which has multi-object images along with annotations describing the visual scene and show that our model significantly outperforms other approaches on the same dataset in generating visually consistent images for incrementally growing scene graphs.

研究の動機と目的

• ユーザーがシーングラフを段階的に修正することで、インタラクティブで順次的な画像生成を可能にすること。
• 新しいオブジェクトや関係性を追加する段階において、以前に生成された画像コンテンツを保持すること。
• トレーニング中に中間の教師信号を必要とせず、現実的で高品質な複数オブジェクト画像を生成すること。
• 複雑な複数オブジェクトシーンに対応できない単一パスのテキストから画像へのモデルの限界を克服すること。
• MS-COCOのような実世界のデータセットに、合成データや真値の中間画像に依存しないシーングラフベースの画像生成を拡張すること。

提案手法

• 累積的な画像と段階的なシーングラフの追加要素に条件づけた再帰的ネットワークアーキテクチャを用いる。
• 可変サイズのシーングラフを効果的に処理し、オブジェクトおよび関係性の情報を符号化するために、グラフ畳み込みネットワーク（GCNs）を採用する。
• 生成対抗ネットワーク（GANs）を用いて現実的な画像変換を実現し、識別器を実画像と生成画像を区別するように訓練する。
• 知覚的正則化損失（Zhangら、2018年）を適用して、ステップ間での視覚的一致性を強制し、以前に生成されたコンテンツの歪みを最小限に抑える。
• インセプションスコアによる画像品質とLPIPSによる知覚的一致性をバランスさせる、修正された損失関数を用いてエンドツーエンドで訓練する。
• シーングラフを段階的に処理する：各ステップで、新たに追加されたノードとエッジのみを用いて画像を更新し、以前の構造を保持する。

実験結果

リサーチクエスチョン

• RQ1 シーングラフを段階的に拡大することで、以前に生成されたコンテンツを保持しながら、画像生成をインタラクティブに可能にすることができるか？
• RQ2 中間の教師信号を必要とせず、複数の画像生成ステップ間で視覚的一致性を維持できる深層生成モデルは構築可能か？
• RQ3 GANベースのフレームワークは、実世界のデータセット（例：MS-COCO）に対して、段階的なシーングラフ入力から高精細な複数オブジェクト画像を生成できるか？
• RQ4 知覚的正則化は、段階的精錬過程における生成画像の視覚的一致性を向上させるか？
• RQ5 画像品質と構造的忠実度の観点から、段階的生成はワンショット生成と比較して優れているか？

主な発見

• 提案モデルは、生成の第3ステップでインセプションスコア5.02を達成し、ベースラインのSg2imモデル（3.05）を上回り、全ステップで一貫した改善が見られた。
• 我々のモデルでは、連続するステップ間の知覚的類似度が顕著に低く（0.477および0.421）、ベースライン（0.658および0.496）と比較して、優れた視覚的一致性を示した。
• モデルは、シーングラフに明示的に記述されていないと、背景要素（草地や空）を生成しないことが確認され、初期段階での幻想的生成が減少した。
• 一部のデータセットバイアスの影響を受けつつも、明示的に記載されていない場合に、たびたびオブジェクト（例：岩や水）を幻想的に生成する傾向が見られ、トレーニングデータに残存するバイアスを示唆した。
• 段階的生成により、1ステップあたりのオブジェクト数を絞ることで、複雑なシーンの生成が向上し、意味的正確性とオブジェクトの詳細が向上した。
• 本手法は、中間の教師信号を必要とせず、実世界のデータセット（例：MS-COCO）において、インタラクティブで文脈保持型の画像生成を達成した最初の手法である。