[論文レビュー] Conditional Adversarial Generative Flow for Controllable Image Synthesis

Rui Liu, Yu Liu+3 more|arXiv (Cornell University)|Apr 3, 2019

Generative Adversarial Networks and Image Synthesis参考文献 41被引用数 6

ひとこと要約

本論文は、可逆フローの潜在空間に条件付き入力を（例：アイデンティティ、属性）マッピングする敵対的エンコーダを用いる、新しいフローベースの生成モデル、Conditional Adversarial Generative Flow (CAGlow) を提案する。これにより、制御可能で高精度な画像生成が可能となる。CAGlow は、複雑な条件や未知の条件下でも、標準的な Glow よりも優れた属性分離と低い分布乖離を達成することで、条件付き画像生成において優れた性能を発揮する。

ABSTRACT

Flow-based generative models show great potential in image synthesis due to its reversible pipeline and exact log-likelihood target, yet it suffers from weak ability for conditional image synthesis, especially for multi-label or unaware conditions. This is because the potential distribution of image conditions is hard to measure precisely from its latent variable $z$. In this paper, based on modeling a joint probabilistic density of an image and its conditions, we propose a novel flow-based generative model named conditional adversarial generative flow (CAGlow). Instead of disentangling attributes from latent space, we blaze a new trail for learning an encoder to estimate the mapping from condition space to latent space in an adversarial manner. Given a specific condition $c$, CAGlow can encode it to a sampled $z$, and then enable robust conditional image synthesis in complex situations like combining person identity with multiple attributes. The proposed CAGlow can be implemented in both supervised and unsupervised manners, thus can synthesize images with conditional information like categories, attributes, and even some unknown properties. Extensive experiments show that CAGlow ensures the independence of different conditions and outperforms regular Glow to a significant extent.

研究の動機と目的

• マルチラベルや未知の条件下において、フローベースモデルの条件付き画像生成における限界を解消すること。
• 複雑な画像条件における正確な潜在分布推定の困難さに取り組むこと。
• 教師ありおよび教師なしの条件学習を組み合わせ、堅牢で分離可能な条件付き画像生成を実現すること。
• 複雑な条件下でも、実画像と生成画像の分布の整合性を高め、サンプル品質を向上させること。

提案手法

• 可逆フローの潜在空間に条件空間をマッピングする学習可能なエンコーダを統合した条件付きフローベースモデル、CAGlow を提案する。
• 生成された潜在コードが与えられた条件下で実データ分布と一致するように、エンコーダを敵対的に訓練する。
• 画像と条件の同時確率密度モデルを用いて、正確な対数尤度と敵対的正則化を組み合わせたエンドツーエンド学習を可能にする。
• 教師なしで、回転や明るさなどの解釈可能な未知の特徴を潜在コードの操作によって発見可能にする。
• 教師ありおよび教師なしの両方の学習モードを実装し、既知のラベルや潜在要因に基づいた画像生成を可能にする。
• フローの可逆性を活用して、特定の条件に対応する潜在コードを操作することで、制御可能な画像生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 条件が複雑またはマルチモーダルな場合でも、フローベースの生成モデルが高品質な条件付き画像生成を達成できるか？
• RQ2 敵対的エンコーダが、フローベースフレームワーク内において、連続的かつ分離可能な条件空間から潜在空間へのマッピングを効果的に学習できるか？
• RQ3 CAGlow は、教師なしで未知だが解釈可能な画像特徴を発見し、操作できるか？
• RQ4 複雑な条件下で、CAGlow は標準的な Glow と比較して、属性の安定性、FID スコア、分布整合性の点で優れているか？

主な発見

• CelebA において、CAGlow は生成画像の属性分類でトップ1正答率 93.75% を達成し、CGlow の 87.36% より顕著に優れている。
• CAGlow の属性平均確率（AMP）の分散は 0.0016 であり、CGlow の 0.0245 よりも著しく低い。これは、優れた属性安定性を示している。
• CAGlow は、条件の操作に対する AMP の絶対差を、CGlow より最大 80% 減少させ、より優れた分離性を示している。
• MNIST において、CAGlow は潜在コードの変動により、回転や太さといった未知の特徴を効果的に学習・操作でき、教師なしの解釈可能性を示している。
• CelebA において、CAGlow は明示的にアノテートされていないヨー角や明るさの変動を捉えており、解釈可能な要因の教師なし発見を確認している。
• CAGlow は、条件付き制御の下でも、元の Glow と同等に低い FID スコアを維持しており、生成画像の多様性と忠実度の両立を示している。