[論文レビュー] COCO-GAN: Generation by Parts via Conditional Coordinating

Chieh Hubert Lin, Chia-Che Chang+4 more|arXiv (Cornell University)|Mar 30, 2019

Generative Adversarial Networks and Image Synthesis参考文献 38被引用数 11

ひとこと要約

COCO-GANは、空間座標に基づいて小さな画像パッチを生成・アセンブルすることで、訓練中に完全な画像を生成せずに高精細な画像を合成する条件付き生成モデルを導入している。これにより、訓練中は完全な画像を生成しないまま最先端の画像品質を達成する。座標に注意を払った分割統治型トレーニングパラダイムにより、境界外生成、サイクリックトポロジーを有するパノラマ画像合成、オンデマンドパッチ生成といった、新たな機能を実現している。

ABSTRACT

Humans can only interact with part of the surrounding environment due to biological restrictions. Therefore, we learn to reason the spatial relationships across a series of observations to piece together the surrounding environment. Inspired by such behavior and the fact that machines also have computational constraints, we propose \underline{CO}nditional \underline{CO}ordinate GAN (COCO-GAN) of which the generator generates images by parts based on their spatial coordinates as the condition. On the other hand, the discriminator learns to justify realism across multiple assembled patches by global coherence, local appearance, and edge-crossing continuity. Despite the full images are never generated during training, we show that COCO-GAN can produce extbf{state-of-the-art-quality} full images during inference. We further demonstrate a variety of novel applications enabled by teaching the network to be aware of coordinates. First, we perform extrapolation to the learned coordinate manifold and generate off-the-boundary patches. Combining with the originally generated full image, COCO-GAN can produce images that are larger than training samples, which we called "beyond-boundary generation". We then showcase panorama generation within a cylindrical coordinate system that inherently preserves horizontally cyclic topology. On the computation side, COCO-GAN has a built-in divide-and-conquer paradigm that reduces memory requisition during training and inference, provides high-parallelism, and can generate parts of images on-demand.

研究の動機と目的

• 空間座標に条件付けられた小さな画像パッチを生成・アセンブルすることで、一貫性のある完全な画像を生成する生成モデルを開発すること。
• 大範囲視野の画像生成における計算的ボトル neck を克服し、並列的で記憶効率の良いトレーニングと推論を可能にすること。
• 訓練時の完全な画像監視なしに、アセンブルドされたパッチ間のグローバルな一貫性とローカルな一貫性を保証すること。
• メモリ制限のある環境（モバイル端末やVRなど）に適した、オンデマンドかつパッチガイドドな画像生成を可能にすること。

提案手法

• 生成器は、各パッチの空間座標と潜在ベクトルの両方に条件付けられており、座標に依存するGANフレームワークを用いてマイクロパッチを生成する。
• 識別器は、マクロパッチ内の隣接するパッチ間で、グローバルな一貫性、ローカルな外観の一貫性、エッジをまたぐ連続性を評価する。
• 画像生成を独立したパッチ生成タスクに分割する分割統治型トレーニング戦略を採用し、メモリ使用量を削減するとともに、高い並列性を実現する。
• モデルは二重の目的関数で訓練される：リアルさを向上させる adversarial loss と、空間認識を強制する座標予測ヘッド。
• 境界外の座標に条件付けたことで、学習時よりも大きな画像の生成が可能になる座標の外挿を実現する。
• パノラマ生成は、トレーニング中に円筒座標を適用することで達成され、出力における水平方向のサイクリック連続性が保たれる。

実験結果

リサーチクエスチョン

• RQ1 GANは、空間座標に条件付けられたローカルなパッチのみを生成することで、グローバルに一貫性のある完全な画像を生成できるか？
• RQ2 座標の外挿によって、学習データ分布よりも大きな画像を一般化して生成できるか？
• RQ3 モデルは、パノラマ画像生成において水平方向のサイクリック連続性といったトポロジカル性質を保持できるか？
• RQ4 座標条件付けは、エッジデバイスに適した効率的でオンデマンドかつメモリ最適化された画像生成を可能にするか？
• RQ5 部分的な実際のマクロパッチから潜在ベクトルを再構築することで、パッチガイドドな画像生成が可能か？

主な発見

• COCO-GANは、CelebA 128×128 および LSUN 256×256 など複数のベンチマークで最先端の Fréchet Inception Distance (FID) スコアを達成しており、高品質な画像合成を実証している。
• 4×4ピクセルという極小のマイクロパッチですら、1024個のパッチをアセンブルして一貫性があり妥当な人間の顔を再構築できるため、強力な空間推論能力を示している。
• 境界外生成が成功しており、256×256の学習サンプルよりも大きな384×384の画像を生成し、すべてのサンプルが新規かつ一貫性を持っている。
• 円筒座標を用いて生成されたパノラマ画像は、視覚的検証および補間結果から、正しい水平方向のサイクリックトポロジーを示している。
• トレーニングプロセスは安定しており、時間経過に伴いワッサーシュタイン距離とFIDの両方が一貫して低下しており、信頼できる収束を示している。
• パッチガイドド生成により、1つの実際のマクロパッチからも、空間座標を予測し、グローバルに一貫性のある完成形を生成できる。