[論文レビュー] Deep Gaussian Processes with Importance-Weighted Variational Inference

Hugh Salimbeni, Vincent Dutordoir+2 more|arXiv (Cornell University)|May 14, 2019

Gaussian Processes and Bayesian Inference被引用数 20

ひとこと要約

本稿では、独立した潜在変数をノイズとしてではなく、共変数として導入することにより、非ガウス型周辺分布をモデル化する、深層ガウス過程（DGPs）のための新しい重要度重み付き変分推論手法を提案する。相関のあるガウス過程のスパース変分推論と、非相関の潜在変数に対する重要度重み付き推定を組み合わせることで、特に深層モデルにおいて、事後分布の近似精度が向上し、多様な1次元密度推定タスクにおいて、標準的な変分推論を上回る性能を発揮する。

ABSTRACT

Deep Gaussian processes (DGPs) can model complex marginal densities as well as complex mappings. Non-Gaussian marginals are essential for modelling real-world data, and can be generated from the DGP by incorporating uncorrelated variables to the model. Previous work on DGP models has introduced noise additively and used variational inference with a combination of sparse Gaussian processes and mean-field Gaussians for the approximate posterior. Additive noise attenuates the signal, and the Gaussian form of variational distribution may lead to an inaccurate posterior. We instead incorporate noisy variables as latent covariates, and propose a novel importance-weighted objective, which leverages analytic results and provides a mechanism to trade off computation for improved accuracy. Our results demonstrate that the importance-weighted objective works well in practice and consistently outperforms classical variational inference, especially for deeper models.

研究の動機と目的

• 加法的ノイズの制限を解消し、信号の減衰を防ぎ、非ガウス型データ周辺分布のモデル化を可能にする。
• 潜在変数の平均場ガウス近似を重要度重み付きスキームに置き換えることで、DGPsにおける事後分布近似精度を向上させる。
• 独立した潜在変数をノイズとしてではなく、共変数として扱うことで、複雑な非ガウス型データ分布のモデル化を可能にする。
• GP部品の解析的取り扱いを保ちながら、計算量と精度のトレードオフを取るスケーラブルな推論フレームワークを開発する。
• 深層DGPモデルが潜在共変数と重要度重み付き推論を組み合わせることで、古典的変分推論およびノイズなしベースラインを一貫して上回ることを実証的に検証する。

提案手法

• 相関のある潜在関数を扱うガウス過程層と、独立で同一分布に従うノイズ変数を入力として連結することで導入する潜在変数（LV）層の2つの異なる層を用いて、深層ガウス過程をモデル化する。
• インダクティングポイントを用いたスパース変分推論を適用し、ガウス過程関数の事後分布を近似することで、計算効率と解析的取り扱いの両立を実現する。
• 潜在変数に対して平均場ガウス近似を適用し、データポイント間で独立とみなす。これらの潜在変数は、ガウス過程の追加入力として統合される。
• 潜在変数事後分布からのサンプルを再重み付けすることで、事後分布近似を向上させる、新しい重要度重み付き変分推論目的関数を提案する。
• 重要度重み付きスキームと部分的に畳み込み変分推論を組み合わせることで、より良い勾配推定と事後分布近似が可能になり、GP項の解析的結果を損なわずに行える。
• 重要度重み付き目的関数における勾配分散の問題を軽減するため、二重再パrameter化勾配推定器を採用し、学習安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 独立した潜在変数を加法的ノイズとしてではなく、共変数として扱うことで、深層ガウス過程における非ガウス型周辺分布のモデル化が改善できるか？
• RQ2 重要度重み付き変分推論スキームは、深層GPモデルにおいて、標準的な平均場変分推論よりも一貫した性能向上をもたらすか？
• RQ3 提案手法のDGP（潜在共変数および重要度重み付き推論を備えたもの）は、多様な1次元密度推定タスクにおいて、ノイズなしDGPモデルおよび古典的変分推論と比較して、どのように性能を発揮するか？
• RQ4 重要度重み付きアプローチは、特に深層ネットワークアーキテクチャにおいて、事後分布近似精度をどの程度向上させるか？
• RQ5 提案手法は、標準的なGPモデルがうまく捉えられない、複雑で多次元的かつ滑らかでないデータ分布を効果的にモデル化できるか？

主な発見

• 提案されたDGPモデル（潜在共変数および重要度重み付き推論を備える）は、1次元密度推定タスクの多様な設定において、古典的変分推論およびノイズなしDGPベースラインを一貫して上回る性能を発揮し、特に深層アーキテクチャにおいて顕著な優位性を示した。
• 合成データ（例：'DGP'ギフトデータセット）を用いた実験により、多次元的で、区分的定数型の分布など、非ガウス型周辺分布が効果的にモデル化された。
• 重要度重み付き目的関数は、全テストデータセットにおいて予測尤度と事後分布近似精度を向上させ、モデルの深さが増すほどその恩恵が大きくなった。
• カーネル分散ハイパーパramータを用いた層の無効化機能により、深層モデルが性能を劣化させることを防ぎ、潜在変数層の長さスケールを大きな値に設定することで、その機能を無効化可能であることが確認された。
• 小さなデータおよび中程度のデータ環境でも、正則化のないモデル（例：条件付きVAE）が過学習を起こすのに対し、提案されたDGPは潜在変数を備えることで良好な一般化性能を示した。
• 閉形式の予測密度が存在しないにもかかわらず、モンテカルロサンプリングにより高品質な事後分布推定が達成され、重要度重み付けにより分散が低減され、収束性が向上した。