[論文レビュー] Implicit Posterior Variational Inference for Deep Gaussian Processes

Haibin Yu, Yizhou Chen+3 more|arXiv (Cornell University)|Oct 26, 2019

Gaussian Processes and Bayesian Inference被引用数 15

ひとこと要約

本稿では、時間効率を考慮した不偏事後信念推定を実現するために、深層ガウス過程（DGPs）における暗黙的事後分布変分推論（IPVI）を提案する。DGP推論を2人零和ゲームとして定式化し、ナッシュ均衡に一致する不偏事後分布を得ることで、回帰、分類、教師なし学習の各タスクにおいて最先端の手法を上回る性能を達成する。

ABSTRACT

A multi-layer deep Gaussian process (DGP) model is a hierarchical composition of GP models with a greater expressive power. Exact DGP inference is intractable, which has motivated the recent development of deterministic and stochastic approximation methods. Unfortunately, the deterministic approximation methods yield a biased posterior belief while the stochastic one is computationally costly. This paper presents an implicit posterior variational inference (IPVI) framework for DGPs that can ideally recover an unbiased posterior belief and still preserve time efficiency. Inspired by generative adversarial networks, our IPVI framework achieves this by casting the DGP inference problem as a two-player game in which a Nash equilibrium, interestingly, coincides with an unbiased posterior belief. This consequently inspires us to devise a best-response dynamics algorithm to search for a Nash equilibrium (i.e., an unbiased posterior belief). Empirical evaluation shows that IPVI outperforms the state-of-the-art approximation methods for DGPs.

研究の動機と目的

• 制限的なガウス分布の仮定により、決定的DGP近似が偏った事後信念を生じるという制限を解消すること。
• 逐次的サンプリングと収束が遅いため、計算に非効率なSGHMCのような確率的手法の課題を克服すること。
• 決定的および確率的アプローチの長所を組み合わせ、時間効率の高い不偏事後推論を実現する手法を開発すること。
• 教師ありおよび教師なし学習の両設定において、複雑で多モーダルな事後分布の正確なモデリングを可能にすること。
• 過学習を軽減し、DGPモデルにおける学習および予測を高速化するため、パラメータの束縛を施した生成器アーキテクチャを設計すること。

提案手法

• 生成器と識別器の間の2人零和ゲームとしてDGP推論を定式化し、ナッシュ均衡が誘導変数の不偏事後信念に対応することを保証する。
• 最適応答ダイナミクスを用いて生成器と識別器を反復的に更新し、真の事後分布を表すナッシュ均衡に収束させる。
• DGP層全体にわたるパラメータの束縛を施した生成器を設計し、構造的一致性を強制し、過学習を低減する。
• GANにインspiredされた暗黙的生成モデルを活用し、明示的な尤度計算を伴わずに、複雑で非ガウス的な事後分布を表現する。
• 敵対的訓練により、発散測度を最小化するように生成器を学習させ、真の事後分布と一致するサンプルを生成する。
• 変分事後近似を用いて、回帰、分類（教師あり）およびFreyFace再構成（教師なし）の両タスクにこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 MCMCサンプリングの計算コストを伴わずに、ゲーム理論的フレームワークを用いて深層ガウス過程における不偏事後推論を達成できるか？
• RQ2 提案された2人零和ゲームにおけるナッシュ均衡は、DGPにおける誘導変数の不偏事後信念に対応するか？
• RQ3 敵対的訓練による暗黙的事後分布変分推論は、既存の決定的および確率的DGP近似手法を上回る予測精度を達成できるか？
• RQ4 提案されたIPVIフレームワークは、教師なし表現学習タスクにおいて、複雑で多モーダルな事後分布をどの程度正確にモデル化できるか？
• RQ5 生成器アーキテクチャにおけるパラメータの束縛は、DGPモデルにおける一般化性能の向上および過学習の低減にどの程度寄与するか？

主な発見

• IPVIは回帰および分類ベンチマークで最先端の性能を達成し、決定的および確率的ベースラインを上回る。
• FreyFaceデータセットでは、IPVIが事後分布の多モーダル性を正確に捉え、部分的な観測から落ち着いた顔貌と明るい顔貌の両方を回復する。
• ガウス近似は多モーダル事後分布をモデル化できず、1つのモード（例：モードA）しか捉えられないが、IPVIは両方のモード（AおよびB）を効果的に回復する。
• 実験的結果から、パラメータの束縛を施したIPVIは、束縛なしのモデルと比較して、より優れた一般化性能と高速な学習・予測を達成することが示された。
• 最適応答ダイナミクスアルゴリズムは、不偏事後信念に対応するナッシュ均衡に収束し、フレームワークの理論的基盤が裏付けられた。
• 教師ありタスクでは、非ガウス的事後分布を有する設定においても、IPVIは競合手法と比較してより高いテスト尤度と低いRMSEを達成した。