[論文レビュー] Variational Auto-encoded Deep Gaussian Processes

Zhenwen Dai, Andreas Damianou+2 more|arXiv (Cornell University)|Nov 19, 2015

Gaussian Processes and Bayesian Inference参考文献 35被引用数 63

ひとこと要約

本稿では、深層ガウス過程と認識モデル（多層パーセプトロン）を組み合わせることで、スケーラブルなベイジアン非パラメトリック生成モデルである変分自己符号化深層ガウス過程（VAE-DGP）を提案する。この手法により、データサイズに比例して変分パラメータが線形に増加するのを回避し、分散型変分下界を導出し、大規模データセットにおける効率的な分散型変分推論が可能になる。再パラメータライゼーションにより、認識ネットワークを通じて変分事後分布を再定式化することで、大規模な教師なし深層学習およびベイジアン最適化が、不確実性の定量的評価と予測精度の向上を伴って実現可能となる。

ABSTRACT

We develop a scalable deep non-parametric generative model by augmenting deep Gaussian processes with a recognition model. Inference is performed in a novel scalable variational framework where the variational posterior distributions are reparametrized through a multilayer perceptron. The key aspect of this reformulation is that it prevents the proliferation of variational parameters which otherwise grow linearly in proportion to the sample size. We derive a new formulation of the variational lower bound that allows us to distribute most of the computation in a way that enables to handle datasets of the size of mainstream deep learning tasks. We show the efficacy of the method on a variety of challenges including deep unsupervised learning and deep Bayesian optimization.

研究の動機と目的

• 大規模データセットにおける深層ガウス過程（DGPs）のスケーラビリティの制限を、変分推論の再定式化によって解決すること。
• 認識モデルを用いることで、DGPsにおける各サンプルごとの変分パラメータの必要性を排除し、最適化を簡素化すること。
• 大規模データセットにおける効率的な計算を可能にする、分散型変分下界の新規定式化を開発すること。
• 不確実性の定量的評価が向上した状態で、深層教師なし学習およびベイジアン最適化におけるモデルの有効性を実証すること。
• 非パラメトリックベイジアンモデルの適用範囲を、大規模かつ複雑な生成モデリングタスクに拡張すること。

提案手法

• 変分事後分布をパrameter化するために、多層パーセプトロン（MLP）認識モデルを深層ガウス過程に拡張する。
• 認識ネットワークを介して変分事後分布を再パラメータライズし、推論とデータサイズの分離を図ることで、変分パラメータの線形増加を回避する。
• 計算を層間で分散化しミニバッチ学習を可能にする、変分下界の新規分散型定式化を導出する。
• 不確実な事後期待値を近似するために、モンテカルロサンプリングを用いた確率的変分推論を用いる。
• 各層の潜在変数をガウス過程事前分布でモデル化する階層的構造を採用し、認識ネットワークが観測値を近似事後分布の平均にマッピングする。
• Duvenaudら（2014）の深層ガウス過程の改良版を採用し、入力層から出力層への直接接続を追加することで、安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 認識モデルを用いることで、深層ガウス過程を大規模データセットにスケーリング可能か？
• RQ2 提案された分散型変分下界定式化は、大規模データセットにおける効率的学習を可能にするか？
• RQ3 VAE-DGPモデルは、標準的なガウス過程および線形回帰よりも、深層教師なしおよび教師あり学習タスクで優れた性能を示すか？
• RQ4 ベイジアン最適化における非定常関数構造を、VAE-DGPモデルはどれほど適切に捉えられるか？
• RQ5 認識モデルは、モデル表現力の維持を前提に、各サンプルごとの変分パラメータの必要性を排除できるか？

主な発見

• アバロンデータセットでは、VAE-DGPが平均二乗誤差（MSE）825.31 ± 64.35を達成し、標準的ガウス過程（888.96 ± 78.22）および線形回帰（917.31 ± 53.76）を上回った。
• クリープデータセットでは、VAE-DGPがMSE 575.39 ± 29.10を達成し、ガウス過程（602.11 ± 29.59）および線形回帰（1865.76 ± 23.36）を顕著に上回った。
• 非定常な Branin 関数におけるベイジアン最適化では、初期段階の最適化で標準的ガウス過程を上回った。これは、多峰性および非定常な出力分布をより適切にモデル化できたためである。
• 分散型変分下界定式化により、計算を層間で分散化し、メモリのボトルネックを低減することで、大規模データセットにおける効率的学習が可能になった。
• 認識モデルにより、事後分布が効果的にパラメータ化され、各サンプルごとの変分パラメータの必要性が排除され、最適化が簡素化された。
• 不確実性の定量的評価と予測精度の向上を伴い、教師なし表現学習および教師あり回帰の両方で優れた性能を示した。