[論文レビュー] Variational Implicit Processes

Chao Ma, Yingzhen Li+1 more|arXiv (Cornell University)|Jun 6, 2018

Gaussian Processes and Bayesian Inference参考文献 99被引用数 12

ひとこと要約

本稿では、非線形変換による潜在ノイズ変数を用いて関数事前分布を定義する暗黙的確率的過程を用いた、スケーラブルなベイジアン推論のための新規フレームワーク、Variational Implicit Processes (VIPs) を提案する。一般化されたウェーク・スリープ更新を活用することで、勾配推定器に依存せずに効率的かつ閉形式の変分推論が可能となり、ベイジアンニューラルネットワーク、ガウス過程、ベイジアンLSTMにおいて、最先端の不確実性推定と低い予測誤差を達成する。

ABSTRACT

We introduce the implicit processes (IPs), a stochastic process that places implicitly defined multivariate distributions over any finite collections of random variables. IPs are therefore highly flexible implicit priors over functions, with examples including data simulators, Bayesian neural networks and non-linear transformations of stochastic processes. A novel and efficient approximate inference algorithm for IPs, namely the variational implicit processes (VIPs), is derived using generalised wake-sleep updates. This method returns simple update equations and allows scalable hyper-parameter learning with stochastic optimization. Experiments show that VIPs return better uncertainty estimates and lower errors over existing inference methods for challenging models such as Bayesian neural networks, and Gaussian processes.

研究の動機と目的

• 非パラメトリックなベイジアンモデリングにおいて、暗黙的分布を用いて複雑な関数事前分布を柔軟にモデル化するためのフレームワークの開発。
• 暗黙的確率的過程における事後分布推論の非可解性に対処するための効率的な変分推論アルゴリズムの開発。
• ベイジアンニューラルネットワークやLSTMなどの深層モデルにおけるスケーラブルなハイパーパrameter学習と不確実性の定量化を可能にする。
• データシミュレータ、ベイジアンニューラルネットワーク、確率的過程の非線形変換といった多様なモデル間での推論を統一する。

提案手法

• 潜在ノイズ変数の非線形変換によって関数事前分布を定義する暗黙的確率的過程（IPs）を提案し、柔軟でガウス分布でない事前分布を可能にする。
• 一般化されたウェーク・スリープ更新を用いて、閉形式の事後分布近似を達成する変分推論アルゴリズム—Variational Implicit Processes (VIPs)—を導出する。
• 関数空間における真の事後分布を近似するために二重エンコーダ構造を用いることで、密度比推定や勾配推定器への依存を回避する。
• スケーラブルなハイパーパrameter学習を実現するため、確率的最適化を採用し、大規模モデルにおける効率的な学習を可能にする。
• VIPフレームワークをベイジアンニューラルネットワーク、ガウス過程、ベイジアンLSTMに適用し、同じサンプリングパスを共有することでメモリコストを低減する。
• 検証セット探索を用いた座標上昇に類似した手続きにより、ノイズ分散と逆ウィシャートハイパーパrameterのチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 暗黙的確率的過程は、非パラメトリックなベイジアンモデリングにおいて、定義が明確で柔軟な関数上での事前分布として機能できるか？
• RQ2 勾配推定器や密度比近似に依存せずに、暗黙的過程における変分推論を効率的に行うことができるか？
• RQ3 VIPフレームワークは、ベイジアンニューラルネットワークやガウス過程において、既存手法と比較して不確実性の定量化と予測性能を向上させることができるか？
• RQ4 VIPsは、ベイジアンLSTMのような複雑なモデルに対しても、高品質な不確実性推定を維持しながらスケーラブルに適用可能か？

主な発見

• VIPsは大規模なベイジアンLSTM推論タスクにおいて、既存の変分アプローチを上回る最先端の性能を達成する。
• トピックデータセットでは、VIPsはテストNLLが -0.60 ± 0.01 を達成し、VDO（−0.07 ± 0.01）やGP（−0.27 ± 0.00）を顕著に上回る。
• 太陽放射エネルギーデータでは、VIPsはテストNLLが 0.08 ± 0.02 を達成し、SVGP（0.56 ± 0.23）やGP（0.832 ± 0.00）を著しく下回る。
• クリーンエネルギーデータセットでは、VIPsはテストNLLが 0.65 ± 0.01 を達成し、VI-BNN（0.74 ± 0.01）やEP-DGP（0.98 ± 0.00）を上回る。
• クリーンエネルギーデータセットでは、VIPsはテストRMSEを 0.88 ± 0.02 まで低減し、VDO-LSTM（0.93 ± 0.01）やα-LSTM（1.38 ± 0.02）を上回る。
• VIPフレームワークにより、ハイパーパrameter学習がスケーラブルに可能となり、低ドロップアウト率の下で訓練データ全体に共通のK個のサンプリングパスを共有することで、メモリ集約的なサンプリングを回避できる。