[論文レビュー] Non-Parametric Priors For Generative Adversarial Networks

Rajhans Singh, Pavan Turaga+3 more|arXiv (Cornell University)|May 16, 2019

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

本論文は、潜在空間内挿補における分布不一致問題を解消するため、生成対抗ネットワーク（GANs）に非パラメトリックな事前分布を提案する。確率論的理論を用いて問題を定式化し、市販の最適化ソルバーを用いて最適化することで、複数のラobe構造と急激に減少する尾部を有するカスタム事前分布を学習する。この方法により、アーキテクチャ的・訓練的変更なしに、CelebA、CIFAR-10、LSUNデータセットにおいて、挿補の忠実度が著しく向上し、最先端のFIDスコアを達成する。

ABSTRACT

The advent of generative adversarial networks (GAN) has enabled new capabilities in synthesis, interpolation, and data augmentation heretofore considered very challenging. However, one of the common assumptions in most GAN architectures is the assumption of simple parametric latent-space distributions. While easy to implement, a simple latent-space distribution can be problematic for uses such as interpolation. This is due to distributional mismatches when samples are interpolated in the latent space. We present a straightforward formalization of this problem; using basic results from probability theory and off-the-shelf-optimization tools, we develop ways to arrive at appropriate non-parametric priors. The obtained prior exhibits unusual qualitative properties in terms of its shape, and quantitative benefits in terms of lower divergence with its mid-point distribution. We demonstrate that our designed prior helps improve image generation along any Euclidean straight line during interpolation, both qualitatively and quantitatively, without any additional training or architectural modifications. The proposed formulation is quite flexible, paving the way to impose newer constraints on the latent-space statistics.

研究の動機と目的

• 標準的なパラメトリック事前分布（例：正規分布、一様分布）が、挿補点の分布と一致しない、GANの潜在空間内挿補における分布不一致問題に対処すること。
• 中間点の分散を低減するが、重い尾部と不安定な生成を引き起こすという欠点を抱える既存のパラメトリック事前分布（例：コーシー分布）の制限を克服すること。
• アーキテクチャの変更や追加の訓練データを必要とせず、タスク固有の事前分布を学習する一般化可能で柔軟なフレームワークを開発すること。
• 潜在空間の最適化された非パラメトリック分布を通じて、特に挿補の際の事前点および中間点の生成品質を向上させること。

提案手法

• 基本的な確率論的理論を用いて分布不一致問題を定式化し、中間点の分布を、挿補経路上の一様分布との畳み込みとしてモデル化する。
• 事前分布と中間点分布との乖離を最小化する最適化目的関数を定義し、市販の最適化ツールを用いて非パラメトリック事前分布を解く。
• 学習された挿補条件下で中間点分布と一致するように、制約付き最適化により潜在空間の点上に離散的・非パラメトリックな分布として事前分布を表現する。
• 学習済み非パラメトリック事前分布を用いた標準的なGAN訓練を実行し、生成器および判別器のアーキテクチャと損失関数を変更しない。
• 非凸的かつ高次元の最適化問題を、既存の最適化ライブラリを活用して効率的に解く。
• 標準的な指標（インセプションスコア（IS）およびFréchet Inception Distance（FID））を用いて、複数のデータセット（CelebA、CIFAR-10、LSUN）で手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 GANにおける元の事前分布と挿補中間点分布との間の分布不一致を最小化する非パラメトリック事前分布を学習可能か？
• RQ2 標準的なパラメトリック事前分布（例：正規分布、一様分布）と比較して、学習済み非パラメトリック事前分布は、挿補時の画像品質および多様性を向上させるか？
• RQ3 多様なデータセットにおいて、FIDおよびインセプションスコアの観点から、非パラメトリック事前分布は、専用の事前分布（例：コーシー分布、ガンマ分布）と比較してどのように性能を発揮するか？
• RQ4 生成器のアーキテクチャを変更せず、追加の訓練データを必要としない手法が、挿補の忠実度を向上させられるか？
• RQ5 学習済み非パラメトリック事前分布が示す定性的および定量的特性は何か？また、それらは向上した生成性能とどのように関連しているか？

主な発見

• 評価された全データセット（CelebA（19.115）、CIFAR-10（37.112）、LSUN Bedroom（31.472）、LSUN Kitchen（35.074））で、非パラメトリック事前分布が最良またはほぼ最良のFIDスコアを達成し、一様分布、正規分布、ガンマ分布、コーシー分布の事前分布を上回る。
• d=200のCelebAデータセットにおいて、非パラメトリック事前分布は中間点で19.115のFIDスコアを達成し、一様分布の40.371およびコーシー分布の60.128と比べて顕著に低い。
• d=100のCIFAR-10データセットにおいて、非パラメトリック事前分布は中間点のFIDを37.112にまで低減し、正規分布（65.525）およびコーシー分布（180.40）を上回り、次善の事前分布よりも2.8ポイントの改善を達成した。
• 非パラメトリック事前分布は、事前点および中間点の両方の生成品質を一貫して向上させ、CIFAR-10では最高のインセプションスコア（6.871）、CelebAでは1.973を記録し、画像の品質および多様性が向上していることを示している。
• 学習済み非パラメトリック事前分布は、急激に減少する尾部を有するユニークな多ラobe構造を示しており、これにより事前分布と中間点分布との一致が高まり、分布不一致が低減している。
• 本手法は、複雑さが異なるデータセットにわたり頑健である：LSUN（より高い分散およびより大きな訓練データセット）で最も優れた性能を発揮し、コーシー分布を含むパラメトリック事前分布を一貫して上回っている。コーシー分布はモード崩壊と不安定性に苦しむ。