[論文レビュー] Semantic Interpolation in Implicit Models

Yannic Kilcher, Aurélien Lucchi+1 more|arXiv (Cornell University)|Oct 31, 2017

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 3

ひとこと要約

本稿では、GAN や VAE といった暗黙的生成モデルにおける事前分布を、標準正規分布からガンマ分布に変更することを提案する。これにより、確率質量が原点に集中し、潜在空間における線形補間が低確率領域を避けて高密度領域にとどまる。実験の結果、複数のデータセットおよび潜在次元数において、生成画像の視覚的品質が著しく向上し、意味的な補間がより明確になることが示された。

ABSTRACT

In implicit models, one often interpolates between sampled points in latent space. As we show in this paper, care needs to be taken to match-up the distributional assumptions on code vectors with the geometry of the interpolating paths. Otherwise, typical assumptions about the quality and semantics of in-between points may not be justified. Based on our analysis we propose to modify the prior code distribution to put significantly more probability mass closer to the origin. As a result, linear interpolation paths are not only shortest paths, but they are also guaranteed to pass through high-density regions, irrespective of the dimensionality of the latent space. Experiments on standard benchmark image datasets demonstrate clear visual improvements in the quality of the generated samples and exhibit more meaningful interpolation paths.

研究の動機と目的

• 高次元潜在空間における標準的暗黙的モデルの線形補間が、薄いシェルに集中する標準正規事前分布のため、低確率領域を通過する問題に対処すること。
• KL 収束を用いて、事前分布と補間点の実効的分布との間の分布的不一致を形式的に分析すること。
• 潜在次元数に依存せずに線形補間パスが高密度領域にとどまるように、ガンマ分布を用いた修正された事前分布を提案すること。
• 新しい事前分布が、画像生成タスクにおける視覚的優位性と意味的な補間パスをもたらすことを実証的に検証すること。

提案手法

• 潜在コードの大きさに、標準的等方正規事前分布 $\mathcal{N}(\mathbf{0}, \mathbf{I})$ の代わりにガンマ事前分布 $\text{Gamma}(k, \theta)$ を導入し、原点付近に質量を集中させる。
• ガンマ分布を潜在コードの径方向成分に用い、方向の均一性を維持することで、原点付近のより等方的かつ高密度な潜在空間を実現する。
• 補間点の分布と事前分布との間の KL 収束を形式化し、潜在次元数に依存しない分布的不一致の制御を示す。
• 修正されたガンマ事前分布を用いて GAN を学習し、潜在空間で直線的補間を実行することで、すべての補間点が高確率領域に位置することを保証する。
• 属性ベースの類似関係に対する潜在代数スコア（LAS）などの定量的指標と視覚的検査を用いて、補間品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 標準的暗黙的モデルにおける正規事前分布を用いた線形補間は、高次元潜在空間で低確率領域を通過するか？
• RQ2 KL 収束を用いて、事前分布と補間点との間の分布的不一致を形式的に特徴づけられるか？
• RQ3 原点付近に質量を集約するように事前分布を変更することで、球面補間のような非線形補間スキームの必要性が解消されるか？
• RQ4 新しい事前分布を用いて学習されたモデルは、画像生成タスクにおいて視覚的に優れた、意味的に明確な補間パスを生成するか？

主な発見

• ガンマ事前分布は、特に高次元潜在空間において、標準正規事前分布と比較して GAN の補間サンプルの視覚的品質を顕著に向上させる。
• CelebA データセットでは、$d=200$ においてもガンマ事前分布を用いた生成器は高品質な補間を維持するが、正規事前分布を用いた生成器は次元数の増加に伴い著しく劣化する。
• 属性類似関係の潜在代数スコア（LAS）は、正規事前分布の 0.007496 からガンマ事前分布の 0.005638 に低下し、潜在空間におけるより良い意味的構造が示された。
• 理論的分析により、ガンマ事前分布を用いることで、補間点の分布と事前分布との間の KL 収束が潜在次元数に依存せずに制御可能であることが示された。
• ガンマ事前分布を用いた線形補間は安定的かつ効果的であり、球面補間に伴う不安定性や長大なパスを回避する。