[論文レビュー] InfinityGAN: Towards Infinite-Resolution Image Synthesis.

Chieh Hubert Lin, Hsin-Ying Lee+3 more|arXiv (Cornell University)|Apr 8, 2021

Generative Adversarial Networks and Image Synthesis被引用数 8

ひとこと要約

InfinityGANは、計算コストを低く抑えながら任意解像度の画像合成を可能にするパッチベースの生成的敵対的ネットワークを提案する。これにより、優れたグローバルな一貫性とローカルなディテールが実現される。グローバルな外観とローカルなテクスチャを同時にモデル化しながら、パッチごとに学習および推論することで、従来の限界を超えた高解像度で並列処理可能な画像生成が可能になる。

ABSTRACT

We present InfinityGAN, a method to generate arbitrary-resolution images. The problem is associated with several key challenges. First, scaling existing models to a high resolution is resource-constrained, both in terms of computation and availability of high-resolution training data. Infinity-GAN trains and infers patch-by-patch seamlessly with low computational resources. Second, large images should be locally and globally consistent, avoid repetitive patterns, and look realistic. To address these, InfinityGAN takes global appearance, local structure and texture into account.With this formulation, we can generate images with resolution and level of detail not attainable before. Experimental evaluation supports that InfinityGAN generates imageswith superior global structure compared to baselines at the same time featuring parallelizable inference. Finally, we how several applications unlocked by our approach, such as fusing styles spatially, multi-modal outpainting and image inbetweening at arbitrary input and output resolutions

研究の動機と目的

• 高解像度画像生成器の学習における計算およびデータの制限を克服すること。
• 巨大なトレーニングデータセットや過度な計算リソースを必要とせずに、シームレスな高解像度画像生成を可能にすること。
• 任意の解像度において、グローバルな一貫性とローカルなテクスチャの現実性を維持すること。
• 任意解像度でのマルチモーダルなアウトペイントやインバターピングといった新規な応用を可能にすること。

提案手法

• InfinityGANは、画像生成をパッチごとに学習・推論することで、1回の推論における計算負荷を低減する。
• グローバルな外観とローカルな構造／テクスチャを統合的にモデル化することで、パッチ間の一貫性を確保する。
• 生成中に空間的整合性を維持するパッチベースのGANフレームワークを採用する。
• 画像生成を独立したパッチ操作に分離することで、並列処理可能な推論を実現する。
• スケーラブルなパッチ合成により、任意の出力解像度をサポートするアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 GANベースのモデルは、最小限の計算リソースで、一貫性のあるグローバル構造と細かいローカルディテールを持つ高解像度画像を生成できるか？
• RQ2 パッチベースの生成は、繰り返しパターンを生じさせることなく、大規模な画像においてグローバルな一貫性を保てるか？
• RQ3 画像生成タスクにおいて、入力および出力解像度を任意に扱えるようになるまでの限界はどこか？
• RQ4 無限解像度生成によって、どのような新規な画像生成応用が実現可能になるか？

主な発見

• 同等の解像度において、既存のベースラインと比較してInfinityGANは優れたグローバル構造的一致性を達成している。
• モデルは並列処理可能な推論を可能とし、画像1枚あたりの生成時間を顕著に短縮している。
• 従来の手法の限界を超えた高解像度画像合成が可能となり、知覚的品質も向上している。
• 空間的スタイル統合、マルチモーダルなアウトペイント、画像のインバターピングといった新規な応用が、任意解像度で成功裏に実証された。