[論文レビュー] Variational Laplace Autoencoders

Yookoon S. Park, Chris Dongjoo Kim+1 more|arXiv (Cornell University)|Nov 30, 2022

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 12

ひとこと要約

本稿では、反復的ラプラシアン近似を用いて事後分布推定を精緻化することで、VAEにおける変分推論を改善する新規の深層生成モデル、変分ラプラシアン自己オートエンコーダー（VLAE）を提案する。共役勾配最適化と適切な重み初期化を適用することで、再構成品質が向上し、特にCIFAR10のような複雑なデータセットにおいて潜在変数の崩壊を軽減する。

ABSTRACT

Variational autoencoders employ an amortized inference model to approximate the posterior of latent variables. However, such amortized variational inference faces two challenges: (1) the limited posterior expressiveness of fully-factorized Gaussian assumption and (2) the amortization error of the inference model. We present a novel approach that addresses both challenges. First, we focus on ReLU networks with Gaussian output and illustrate their connection to probabilistic PCA. Building on this observation, we derive an iterative algorithm that finds the mode of the posterior and apply full-covariance Gaussian posterior approximation centered on the mode. Subsequently, we present a general framework named Variational Laplace Autoencoders (VLAEs) for training deep generative models. Based on the Laplace approximation of the latent variable posterior, VLAEs enhance the expressiveness of the posterior while reducing the amortization error. Empirical results on MNIST, Omniglot, Fashion-MNIST, SVHN and CIFAR10 show that the proposed approach significantly outperforms other recent amortized or iterative methods on the ReLU networks.

研究の動機と目的

• 反復的最適化を用いて事後分布推定を精緻化することで、標準VAEにおけるアモルティゼーションギャップと近似ギャップを是正する。
• 特に深層または複雑なアーキテクチャにおいて顕著な失敗モードである潜在変数の崩壊を低減する。
• 適切な初期化と正規化により勾配伝搬を安定化させることで、生成品質を向上させる。
• 変分推論における反復的更新ルールのスケーラブルな代替手段として、共役勾配法の有効性を評価する。
• ハイパーパrameter設定に対して頑健であり、MNIST、Omniglot、SVHN、CIFAR10を含む多様なデータセットで性能が向上することを示す。

提案手法

• Tステップにわたり、近似事後分布 $q_{\bm{\phi}}(\bm{z}|\bm{x})$ を反復的ラプラシアン近似を用いて精緻化する最適化スキームを提案する。
• 学習率 $\alpha_t = 0.5/(t+1)$ を用いた勾配更新ルール $\bm{\lambda}_{t+1} = \bm{\lambda}_t + \alpha_t \frac{\partial}{\partial \bm{\lambda}} \mathcal{L}_{\bm{\theta}}(\bm{x}; \bm{\lambda}_t)$ を用いて変分パラメータを精緻化する。
• VLAE+CGでは、反復的更新を非線形共役勾配（ポラック＝リビエール）上昇に置き換え、収束速度を向上させつつ同等の性能を達成する。
• バックプロパゲーション中に勾配分散を維持し、事後分布の崩壊を防ぐために、ゲイン $2^{1/3}$ を用いたヒの初期化を採用する。
• 初期の訓練ダイナミクスを安定化させるために、入力正規化を適用し、初期再構成損失が約1になるようにする。
• ADAM最適化手法を用い、学習率0.0005、バッチサイズ128で、検証損失の早期停止を伴い、最大2000エポックまで学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 反復的ラプラシアン近似は、VAEにおける事後分布推定を改善し、近似ギャップを低減できるか？
• RQ2 VLAEにおいて、共役勾配最適化は標準的な反復的更新と比較して、速度と性能の面でどのように異なるか？
• RQ3 適切な重み初期化と正規化は、深層VAEにおける潜在変数の崩壊をどの程度防止できるか？
• RQ4 VLAEは、標準VAEや他のベースラインと比較して、CIFAR10のような複雑なデータセットでどのように性能を発揮するか？
• RQ5 勾配分散の維持は、VAE学習の安定性と性能にどのような影響を及えるか？

主な発見

• VLAE+CGは、標準VLAEと比較して約25%高速に学習が進み、MNISTではわずか1%程度の性能低下にとどまる。
• VLAEとVAE+IAFは、SA-VAEに比べてハイパーパrameter設定に対してより頑健であり、学習率や初期化に敏感ではない。
• 適切な初期化（ゲイン $2^{1/3}$ を用いたヒの初期化）と入力正規化は、特に深層モデルにおいて潜在変数の崩壊を顕著に低減する。
• MNIST、ファッション-MNIST、Omniglot、SVHN、CIFAR10を含むすべてのデータセットで、VLAEの再構成画像は鮮明である。
• CIFAR10のような複雑なデータセットでは生成サンプルがぼやける傾向にあり、畳み込みアーキテクチャの導入によりさらに生成品質が向上する可能性がある。
• 潜在変数の崩壊を防ぐために不可欠な再構成勾配は、適切な初期化により効果的に維持され、初期学習段階でのKL損失勾配の優位性を是正する。