[論文レビュー] In&Out : Diverse Image Outpainting via GAN Inversion

Yen-Chi Cheng, Chieh Hubert Lin+4 more|arXiv (Cornell University)|Apr 1, 2021

Generative Adversarial Networks and Image Synthesis参考文献 43被引用数 4

ひとこと要約

本稿では、入力画像の境界を越えて意味的に整合性があり高品質な拡張を生成する、GAN逆推定に基づく多様な画像アウトペイントのフレームワークであるIn&Outを提案する。空間座標に条件付けられたマイクロパッチ生成と複数の潜在コードの最適化により、テクスチャの繰り返しを伴わず、ユーザーが制御可能なカテゴリカルなアウトペイントを実現する。

ABSTRACT

Image outpainting seeks for a semantically consistent extension of the input image beyond its available content. Compared to inpainting -- filling in missing pixels in a way coherent with the neighboring pixels -- outpainting can be achieved in more diverse ways since the problem is less constrained by the surrounding pixels. Existing image outpainting methods pose the problem as a conditional image-to-image translation task, often generating repetitive structures and textures by replicating the content available in the input image. In this work, we formulate the problem from the perspective of inverting generative adversarial networks. Our generator renders micro-patches conditioned on their joint latent code as well as their individual positions in the image. To outpaint an image, we seek for multiple latent codes not only recovering available patches but also synthesizing diverse outpainting by patch-based generation. This leads to richer structure and content in the outpainted regions. Furthermore, our formulation allows for outpainting conditioned on the categorical input, thereby enabling flexible user controls. Extensive experimental results demonstrate the proposed method performs favorably against existing in- and outpainting methods, featuring higher visual quality and diversity.

研究の動機と目的

• 従来の画像アウトペイント手法が、決定論的で文脈漏れのあるI2I変換に起因し、繰り返しの生じるテクスチャと多様性の欠如を抱えるという限界を解消すること。
• 座標条件付きマイクロパッチ生成を用いたGAN逆推定としての問題定式化により、マルチモーダルで多様なアウトペイントを実現すること。
• 特定のオブジェクトやシーン要素の制御的生成を可能とするカテゴリカル条件付けによる柔軟なユーザー制御を提供すること。
• アーティファクトや境界シームなしに高精細で構造が豊かなアウトペイントを実現すること。
• 繰り返しパターンが最小限となるように、パノラマ画像生成に適した再帰的アウトペイントを可能とすること。

提案手法

• 空間的に一貫性のあるマイクロパッチを生成するように、共有のグローバル潜在コードと個々のパッチ座標に条件付けられた、変更を加えたStyleGAN2生成器を訓練する。
• アウトペイントプロセスでは、生成器を逆推定して、入力画像を再構築する複数の潜在コードを特定し、拡張領域に多様なコンテンツを合成する。
• 再構築損失、知覚的損失、および多様性を促進する損失（Lms と Ldiv）を含むマルチ損失最適化フレームワークを採用し、現実性と多様性のバランスをとる。
• 事前分布正則化損失（Lprior）により、逆推定された潜在コードが事前学習済み生成器の多様体内に留まるように保証し、アーティファクトや分布のずれを防止する。
• クラスラベルに条件付けた生成器の導入により、カテゴリカル条件付けが可能となり、出力領域における特定のオブジェクトやシーン要素の制御的生成が実現する。
• 再帰的アウトペイントは、以前にアウトペイントされたマイクロパッチを新たな逆推定ターゲットとして扱うことで実現され、パノラマ画像合成を促進する。

実験結果

リサーチクエスチョン

• RQ1 GAN逆推定は、入力画像境界を越えて多様で高品質な画像アウトペイントを効果的に生成するために活用可能か？
• RQ2 決定論的I2I変換に依存せずに、画像アウトペイントにおけるマルチモーダル生成をどのように達成できるか？
• RQ3 座標条件付きマイクロパッチ生成は、構造的で繰り返しのないアウトペイントを、高い意味的整合性とともに実現可能か？
• RQ4 ユーザーが制御可能なカテゴリカル条件付けが、アウトペイント領域の構造とコンテンツをどの程度効果的に導けるか？
• RQ5 逆推定を用いた再帰的アウトペイントは、繰り返しパターンが最小限となるように、複雑で大規模なパノラマを生成可能か？

主な発見

• 提案手法は、ベースライン手法と比較して優れた視覚的品質と多様性を達成しており、アーティファクトが少なくより現実的なシーン拡張が可能である。
• Lpriorの導入により、分布のずれを防ぎ、境界線や入力の複製が目立たないようになり、現実性が著しく向上した。
• 多様性損失（Lms と Ldiv）により、再構築品質を損なわず、異なる潜在コードが得られ、多様なアウトペイント解が実現された。
• カテゴリカルアウトペイントにより、ユーザーが提供するクラスラベルに基づいて、特定のオブジェクトの挿入や景観構造の変更といったターゲット指向のシーン編集が可能になった。
• 再帰的アウトペイントにより、構造が豊かで高品質なパノラマが、繰り返しパターンが最小限となるように効果的に生成された。
• ユーザー評価とFIDスコアから、In&Outが既存手法を上回ることを確認した。LPIPSスコアから、多様性の面で顕著な向上が示された。