[論文レビュー] Conditional Image Generation by Conditioning Variational Auto-Encoders

William R. Harvey, Saeid Naderiparizi+1 more|arXiv (Cornell University)|Feb 24, 2021

Generative Adversarial Networks and Image Synthesis被引用数 10

ひとこと要約

この論文は、学習済みの非条件付きVAEを基盤モデルとして活用することで、条件付き変分オートエンコーダー（cVAE）を効率的に訓練する手法を提案している。学習から再び行うコストを回避する。条件付き入力を潜在空間のコードにマッピングする軽量な推論アーティファクトのみを訓練することで、GAN並みのサンプル品質と真の事後分布のカバレッジを達成している。特に、不確実性を忠実に表現する確率的画像補填において優れた性能を示しており、モード崩壊を回避している。

ABSTRACT

We present a conditional variational auto-encoder (VAE) which, to avoid the substantial cost of training from scratch, uses an architecture and training objective capable of leveraging a foundation model in the form of a pretrained unconditional VAE. To train the conditional VAE, we only need to train an artifact to perform amortized inference over the unconditional VAE's latent variables given a conditioning input. We demonstrate our approach on tasks including image inpainting, for which it outperforms state-of-the-art GAN-based approaches at faithfully representing the inherent uncertainty. We conclude by describing a possible application of our inpainting model, in which it is used to perform Bayesian experimental design for the purpose of guiding a sensor.

研究の動機と目的

• 条件付きVAEの長時間にわたる学習を短縮するため、事前学習済みの非条件付きVAEを再利用すること。
• cVAEの完全な再学習なしに、効率的なファインチューニングを可能にすること。
• 真の事後分布の不確実性を忠実に表現する高品質で多様な画像補填を達成すること。
• 特に確率的画像補填において、GANベースの手法を上回ることを示すこと。
• ベイズ実験設計におけるセンサーガイドランスなど、事後分布の完全なカバレッジを要する応用を可能にすること。

提案手法

• 学習済みの非条件付きVAEを固定されたデコーダーおよび事前分布として使用し、そのパラメータを凍結する。
• 新たな推論ネットワーク（「アーティファクト」）を訓練し、条件付き入力（例：マスキングされた画像）をVAEの潜在空間上の近似事後分布にマッピングする。
• 標準的なVAEの目的関数に従い、条件付きデータ分布に関してELBOを最大化することでモデルを訓練する。
• 推論アーティファクトはアモルタイズド推論を実行し、生成時における高速かつスケーラブルなサンプリングを可能にする。
• このアプローチは転移学習をサポートする：1つの事前学習済みVAEを、画像補填やカラー化などの複数の条件付きタスクに適応可能である。
• この手法は質量カバレッジKLダイバージェンスを最小化することが示されており、GANよりも優れた事後分布カバレッジを達成している。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの非条件付きVAEを、追加学習を最小限に抑えて条件付き画像生成に再利用できるか？
• RQ2 提案手法は、画像補填において最先端のGANベース手法と比較して、競争力のあるサンプル品質と多様性を達成できるか？
• RQ3 このモデルは、GANに一般的に見られるモード崩壊を回避しながら、画像補填における不確実性を忠実に表現できるか？
• RQ4 1つの基盤VAEを用いて、複数の条件付き画像生成タスクにスケーラブルかつ転送可能か？
• RQ5 ベイズ実験設計など、事後分布の完全なカバレッジを要する下流応用において、このモデルは効果的に機能するか？

主な発見

• 提案手法は、CIFAR-10、ImageNet-64、FFHQ-256の各データセットで、CoModGANなどの最先端GANと同等の画像補填品質を達成している。
• GANとは異なり、モード崩壊を回避している：20枚のテスト画像を検査した結果、CoModGANは5例でモード崩壊を示したが、IPAは一貫して多様な補填を生成した。
• 真の事後分布のカバレッジが優れていることが実証されており、不確実性下でもより多様で現実的な補填が得られている。
• 事前学習済みVAEの使用により、cVAEを再学習する場合と比較して学習時間を顕著に短縮したが、高いサンプル品質を維持している。
• この手法はデータセット間で一般化可能である：ImageNetで事前学習したVAEは、FFHQ や CIFAR-10 などの写真データセットにおいても高品質な画像補填を可能にした。
• ベイズ実験設計においても有効である。ここでは、正確な事後分布表現が最適なセンサーガイドランスに不可欠である。