[論文レビュー] Variational Autoencoder with Implicit Optimal Priors

Hiroshi Takahashi, Tomoharu Iwata+3 more|arXiv (Cornell University)|Sep 14, 2018

Generative Adversarial Networks and Image Synthesis参考文献 26被引用数 6

ひとこと要約

本論文は、密度推定を改善するために、集約事後分布を事前分布として使用する暗黙的最適事前分布を備えた変分オートエンコーダ（VAE）を提案する。KLダイバージェンスを解析的に扱える低次元の密度比項に再定式化することで、集約事後分布を明示的にモデル化せずにKLダイバージェンスを推定する手法を採用し、VampPriorなどの先行手法に比べてより高いロバスト性と効率性を実現した。画像データセットにおいて、最先端の対数尤度性能を達成した。

ABSTRACT

The variational autoencoder (VAE) is a powerful generative model that can estimate the probability of a data point by using latent variables. In the VAE, the posterior of the latent variable given the data point is regularized by the prior of the latent variable using Kullback Leibler (KL) divergence. Although the standard Gaussian distribution is usually used for the prior, this simple prior incurs over-regularization. As a sophisticated prior, the aggregated posterior has been introduced, which is the expectation of the posterior over the data distribution. This prior is optimal for the VAE in terms of maximizing the training objective function. However, KL divergence with the aggregated posterior cannot be calculated in a closed form, which prevents us from using this optimal prior. With the proposed method, we introduce the density ratio trick to estimate this KL divergence without modeling the aggregated posterior explicitly. Since the density ratio trick does not work well in high dimensions, we rewrite this KL divergence that contains the high-dimensional density ratio into the sum of the analytically calculable term and the low-dimensional density ratio term, to which the density ratio trick is applied. Experiments on various datasets show that the VAE with this implicit optimal prior achieves high density estimation performance.

研究の動機と目的

• 単純なガウス事前分布の使用によって引き起こされる過剰正則化を是正すること。
• KLダイバージェンスの不確実性に起因する非解析的性質にもかかわらず、集約事後分布を最適事前分布として使用できることを実現すること。
• 集約事後分布を明示的にモデル化することなく、エンコーダと集約事後分布の間のKLダイバージェンスを推定する手法を開発すること。
• 事前分布モデル化におけるハイパーパrameter感受性を回避することで、高次元データ（例：画像）における密度推定性能を向上させること。
• 低次元部分空間における密度比テクニックを活用することで、ロバストで効率的な訓練を実現すること。

提案手法

• エンコーダと集約事後分布の間のKLダイバージェンスを、2つの項の和に再定式化する。1つはエンコーダと標準ガウス事前分布の間の項（解析的に計算可能）、もう1つは集約事後分布と標準ガウス事前分布の間の項（低次元）。
• 低次元の密度比推定に密度比テクニックを適用し、集約事後分布と標準ガウス事前分布の間の密度比を推定することで、集約事後分布を明示的にモデル化せずにKLダイバージェンスを暗黙的に推定する。
• ニューラルネットワークを用いて低次元部分空間における密度比を推定し、高次元の集約事後分布を直接モデル化する必要を回避する。
• ELBOを最適化することでVAEをエンドツーエンドに訓練する。この際、KLダイバージェンス項は密度比テクニックを介して推定され、閉形式での計算が不要となるため、最適事前分布の使用が可能になる。
• 2段階訓練戦略を導入する。まず、潜在表現上で密度比推定器を事前学習し、その後、VAEと比推定器を同時に訓練する。
• 集約事後分布がデータ分布に沿ったエンコーダの期待値として定義されることを活用し、経験的平均化によって最適事前分布を一貫して推定可能であることを活かす。

実験結果

リサーチクエスチョン

• RQ1 集約事後分布を明示的にモデル化せずに、VAEにおける事前分布として使用可能か？密度推定性能の向上が見られるか？
• RQ2 閉形式が存在しない場合に、エンコーダと集約事後分布の間のKLダイバージェンスを推定することは可能か？
• RQ3 KLダイバージェンスを低次元成分に分解することで、高次元潜在空間に対しても密度比テクニックを効果的に適用できるか？
• RQ4 VampPriorのような明示的事前モデルと比較して、提案手法の対数尤度性能と訓練安定性はどのように異なるか？
• RQ5 従来の事前分布モデル化手法と比較して、提案手法はハイパーパrameter感受性が低減しているか？

主な発見

• 提案された暗黙的最適事前分布を備えたVAEは、4つの画像データセットにおいて最先端のテスト対数尤度性能を達成し、標準VAEおよびVampPriorを上回った。
• MNISTデータセットでは、テスト対数尤度が-89.66 natsを達成し、VampPriorの-90.12 natsを上回った。
• MNISTにおける訓練時間はVampPriorの2.83倍速く、計算コストが顕著に低減された。
• 初期化条件に対してロバストであり、複数回の実験における性能の標準偏差が低く抑えられており、VampPriorが擬似入力の初期化に非常に感受性を示すのとは対照的であった。
• VampPriorにおける混合成分数Kは感受性の高いハイパーパrameterであり、異なる値で性能が大きく変動したが、提案手法はより少ないかつより安定したハイパーパrameterを必要とした。
• 密度比テクニックが低次元成分に適切に適用され、高次元における全次元推定が失敗する状況でも、正確なKLダイバージェンス推定が可能であった。