[論文レビュー] The Variational Gaussian Process

Dustin Tran, Rajesh Ranganath+1 more|arXiv (Cornell University)|Nov 20, 2015

Gaussian Processes and Bayesian Inference参考文献 28被引用数 15

ひとこと要約

変分ガウス過程（VGP）は、潜在変数の柔軟で適応的な変換を学習するためにガウス過程を用いるベイジアン非パrametricな変分推論手法であり、複雑な事後分布のユニバーサル近似を可能にする。変分データとカーネルパラメータを通じて非線形写像を学習することにより、非二値化MNISTにおける-79.88の負の対数尤度、およびSketchデータセットにおける性能向上を達成し、非教師あり学習分野で最先端の結果を達成している。

ABSTRACT

Variational inference is a powerful tool for approximate inference, and it has been recently applied for representation learning with deep generative models. We develop the variational Gaussian process (VGP), a Bayesian nonparametric variational family, which adapts its shape to match complex posterior distributions. The VGP generates approximate posterior samples by generating latent inputs and warping them through random non-linear mappings; the distribution over random mappings is learned during inference, enabling the transformed outputs to adapt to varying complexity. We prove a universal approximation theorem for the VGP, demonstrating its representative power for learning any model. For inference we present a variational objective inspired by auto-encoders and perform black box inference over a wide class of models. The VGP achieves new state-of-the-art results for unsupervised learning, inferring models such as the deep latent Gaussian model and the recently proposed DRAW.

研究の動機と目的

• ベイジアン推論における複雑な事後分布を近似できる柔軟で適応的な変分族の構築を目的とする。
• ベイジアン非パrametricな構築により、任意の連続的事後分布をユニバーサルに近似可能とする。
• ディープ生成モデルを含む多様な確率的モデルと互換性のあるブラックボックス推論手法を提供する。
• Deep Latent Gaussian Model や DRAW などのモデルにおける表現学習と尤度推定を向上させる。

提案手法

• VGPは、ベース分布により潜在入力を生成し、その後、ガウス過程によって定義されたランダムな非線形写像によって変形する。
• これらの非線形写像の分布は、カーネルパラメータと変分データ（入力-出力ペア）を用いて推論中に学習される。
• 変分族は、GPが誘導する写像を通じてベース入力を変換することによって構築され、モデルが事後の分布に合わせて複雑性を適応可能にする。
• 自己符号化器の目的関数にインspiredされた確率的最適化アルゴリズムを用いて、変分近似と真の事後分布とのKLダイバージェンスを最小化する。
• モデル固有の微分を必要とせず、多様なモデルに対してエンドツーエンドの学習が可能であるため、ブラックボックス推論をサポートする。
• 変分データはGPのアンカーポイントとして機能し、複雑でデータ依存の写像を学習可能にすることで、事後分布の近似を向上させる。

実験結果

リサーチクエスチョン

• RQ1 任意の事後分布の複雑さを適応的に捉えることができる変分族を構築することは可能か？
• RQ2 ベイジアン非パrametricな変分モデルを用いて、連続的事後分布をユニバーサルに近似することは可能か？
• RQ3 VGPは、ディープ生成モデルにおける尤度推定と表現学習をどの程度効果的に向上させるか？
• RQ4 VGPは、DRAW や Deep Latent Gaussian Model などのモデルにおける平均場変分族の即時交換可能な代替手段として使用可能か？

主な発見

• VGPは、DRAWアーキテクチャを用いるモデルにおいて、非二値化MNISTで-79.88の負の予測対数尤度を達成し、新たな最先端の結果を樹立した。
• Deep Latent Gaussian Model において、VGPは-81.32の負の対数尤度を達成し、以前の最高記録である-82.90を上回った。
• Sketchデータセットでは、VGPを拡張したDRAWモデルが300エポック後、423.9の下界を達成し、元のDRAWモデルを著しく上回った。
• VGPを拡張したDRAWモデルから生成された画像は、元のモデルと比較して、テクスチャ、シャープネス、構造的複雑さの面で向上が見られた。
• VGPはユニバーサル近似能力を示し、弱い条件下でも任意の連続的事後分布を表現可能であることを証明した。
• この手法は、モデル固有の導出を必要とせず、広範なモデルクラスにおいてブラックボックス変分推論を可能にし、効率的な確率的最適化を支援する。