[論文レビュー] Nested Variational Compression in Deep Gaussian Processes

James Hensman, Neil D. Lawrence|arXiv (Cornell University)|Dec 3, 2014

Gaussian Processes and Bayesian Inference参考文献 15被引用数 43

ひとこと要約

本稿では、深層ガウス過程（DGPs）における近似推論の改善を目的として、ネストされた変分圧縮を導入する。この手法により、スケーラブルで並列化可能かつ確率的変分推論が可能となり、周辺尤度に対する下界がよりタイトなものとなる。これにより、ロボットの経路再構築や顔の自己符号化といった、複雑な階層的データ構造を、標準的なガウス過程や浅いモデルよりも効果的にモデル化できるようになる。

ABSTRACT

Deep Gaussian processes provide a flexible approach to probabilistic modelling of data using either supervised or unsupervised learning. For tractable inference approximations to the marginal likelihood of the model must be made. The original approach to approximate inference in these models used variational compression to allow for approximate variational marginalization of the hidden variables leading to a lower bound on the marginal likelihood of the model [Damianou and Lawrence, 2013]. In this paper we extend this idea with a nested variational compression. The resulting lower bound on the likelihood can be easily parallelized or adapted for stochastic variational inference.

研究の動機と目的

• 大規模または複雑なデータセットへの応用が制限される深層ガウス過程（DGPs）における正確な推論の非可解性に対処すること。
• 変分圧縮をネスト構造へ拡張することで、DGPsの変分推論フレームワークを改善し、周辺尤度に対する下界を向上させること。
• 大規模データアプリケーションにスケーラブルな、並列化可能で確率的な変分推論をDGPsに可能にする。
• 教師ありおよび教師なしの両設定において、階層的かつ非線形の表現を学習できる能力を示すこと。具体的には、ロボットの経路再構築や顔データの自己符号化を想定する。

提案手法

• DGPの複数の層に再帰的に変分推論を適用するネストされた変分圧縮フレームワークを提案し、隠れ関数の事後分布の近似を改善する。
• データポイントごとに分解可能な周辺尤度の下界を導出することで、確率的最適化と並列化を可能にする。
• 各層の関数空間にガウス過程の事前分布を組み込み、中間の潜在変数の事後分布を圧縮する変分近似を採用する。
• 各層の事後分布が直前の層の変分分布に条件付けられる構造的な変分近似を用いることで、エンドツーエンドの微分可能性とL-BFGS-Bによる最適化を実現する。
• 同じデータを入力および出力として扱うことで、教師あり（例：ロボットの経路予測）および教師なし（例：Frey顔の自己符号化）の両タスクにこのフレームワークを適用する。
• 各層にわたるガウス過程の事前分布の合成により、滑らかさや階層的構造といった強いインダクティブバイアスを、深層構造が誘導する。

実験結果

リサーチクエスチョン

• RQ1 標準的な変分圧縮と比較して、ネストされた変分圧縮は深層ガウス過程における周辺尤度に対するよりタイトでスケーラブルな下界を提供できるか？
• RQ2 ネスト構造は、ロボットの軌道信号のような複雑なデータにおける階層的および非線形特徴の捉え方をどのように向上させるか？
• RQ3 ネストされた変分推論を用いた深層ガウス過程は、顔画像の自己符号化のような状況で、非教師あり表現学習をどの程度効果的に行えるか？
• RQ4 この手法は確率的かつ並列推論をサポートしており、大規模データセットへの応用を可能にするか？
• RQ5 DGPモデルの構造的事前分布は、実世界の信号における外れ値や欠損データに対して、どの程度のロバストネスを示すか？

主な発見

• ネストされた変分圧縮フレームワークは、周辺尤度に対するよりタイトな下界を生成し、深層ガウス過程における近似推論の質を向上させる。
• データポイントごとに下界を分解することで、スケーラブルで並列化可能かつ確率的変分推論が可能となり、DGPsがより大きなデータセットに適用可能になる。
• ロボットの経路再構築のタスクでは、最初の隠れ層がトポロジカルに正確なループ表現を学習し、2番目の層がコーナーのような構造的特徴を捉えていた。これは階層的特徴学習の明確な証明である。
• 深層GPアーキテクチャに起因する強い構造的事前分布のおかげで、外れ値（例：t=0.85）をロバストに処理し、データギャップ（例：t=0.2）に対しても妥当な信号構造を予測できた。
• Frey顔データセットの自己符号化タスクでは、時間的順序を無視して学習しても、視覚的構造を保持する意味のある低次元の潜在表現を学習していた。
• 複数回の実行で一貫した質的潜在表現が得られ、混合分布による変分近似の組み合わせによって、モデルの性能をさらに向上させられた。