[論文レビュー] Controllable and Progressive Image Extrapolation

Yijun Li, Lu Jiang+1 more|arXiv (Cornell University)|Dec 25, 2019

Generative Adversarial Networks and Image Synthesis参考文献 53被引用数 9

ひとこと要約

本稿では、シーングラフを条件付き制御として用いることで、現実的で制御可能な画像拡張を実現する段階的でプログレッシブな画像外挿フレームワークを提案する。タスクを3段階に分解することで、境界ボックスレイアウト生成、セマンティックセグメンテーションレイアウトの最適化、画像間変換の3段階に分け、高品質で多様でテキスト誘導型の画像生成を達成し、訓練の安定性とユーザーの制御性を向上させた。

ABSTRACT

Image extrapolation aims at expanding the narrow field of view of a given image patch. Existing models mainly deal with natural scene images of homogeneous regions and have no control of the content generation process. In this work, we study conditional image extrapolation to synthesize new images guided by the input structured text. The text is represented as a graph to specify the objects and their spatial relation to the unknown regions of the image. Inspired by drawing techniques, we propose a progressive generative model of three stages, i.e., generating a coarse bounding-boxes layout, refining it to a finer segmentation layout, and mapping the layout to a realistic output. Such a multi-stage design is shown to facilitate the training process and generate more controllable results. We validate the effectiveness of the proposed method on the face and human clothing dataset in terms of visual results, quantitative evaluations and flexible controls.

研究の動機と目的

• 従来の画像外挿手法が生成コンテンツの制御性に欠け、無条件生成に限定されているという限界に対処すること。
• ユーザーが構造化されたテキスト（シーングラフ）を用いて、希望するオブジェクトと空間的関係を指定できる条件付き画像外挿を可能にすること。
• 複雑な画像からピクセルへの変換を中間レイアウト生成段階に分解することで、訓練の安定性と生成品質を向上させること。
• 画像の文脈とテキストの制御信号の両方を尊重する、柔軟で多様で意味的に整合性のある画像外挿結果を達成すること。

提案手法

• 本手法は3段階のプログレッシブな生成モデルを用いる：まずシーングラフから粗い境界ボックスレイアウトを生成し、次にそれを詳細なセマンティックセグメンテーションレイアウトに精錬し、最後にレイアウトを現実的で高精細なRGB画像に変換する。
• 各段階は、それぞれのタスク（境界ボックス予測、セグメンテーション、画像変換）で事前学習を行い、その後共同微調整することで収束性と性能を向上させる。
• シーングラフはオブジェクトの配置と空間的関係をガイドするために使用され、ノードがオブジェクトを表し、エッジが空間的関係（例：'ドレスはボディの下にある'）を符号化する。
• 訓練段階ではカリキュラム学習戦略を適用し、単純なレイアウト生成タスクから段階的に複雑な画像合成タスクに移行する。
• 最終段階のセグメンテーションレイアウトから現実的で高精細な出力画像を生成するために、画像間変換ネットワーク（例：GANベース）を活用する。
• 中間出力（境界ボックスおよびセグメンテーションレイアウト）は意味的に意味のあるものであり、生成プロセスの解釈可能性とデバッグに役立つ。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのピクセルレベル生成と比較して、マルチステージ生成モデルは画像外挿の制御性と品質を向上させることができるか？
• RQ2 シーングラフは、外挿領域における生成オブジェクトの空間的配置と識別をどの程度効果的にガイドできるか？
• RQ3 中間レイアウトの監視による段階的訓練は、モデルの収束性と生成忠実度を向上させるか？
• RQ4 同じ画像パッチに対して異なるシーングラフ入力を用いることで、モデルは多様な出力に一般化できるか？
• RQ5 データの事前知識とユーザー指定の関係が矛盾する場合、シーングラフによる制御にはどのような限界が生じるか？

主な発見

• 人間評価において、本手法は92.34%のユーザー好意度スコアを達成し、ベースライン手法（sg2im_r: 2.65%、sg2im_c: 5.01%）を著しく上回った。
• 同じ入力パッチに対してシーングラフを変更することで、多様で意味的に整合性のある外挿画像を生成でき、強力な制御性を示した。
• 合成形状データセットでは、シーングラフに記載されたすべてのオブジェクトと関係情報（同じオブジェクトタイプの複数インスタンス含む）を正しく反映したレイアウトを生成した。
• シーングラフに関係情報が存在しない場合でも、データの事前知識（例：空がオブジェクトの上にある）により妥当なレイアウトを生成できたが、これはユーザーの制御と干渉する可能性があった。
• 段階的訓練戦略により、エンドツーエンドの代替手法と比較して収束が速く、訓練がより安定した。
• モデルの中間出力（境界ボックスおよびセグメンテーションレイアウト）は意味的に意味のあるものであり、ユーザーの解釈やデバッグに有用であった。