[論文レビュー] Latent Gaussian Process Regression

Erik Bodin, Campbell, Neill D. F.+1 more|arXiv (Cornell University)|Jul 18, 2017

Gaussian Processes and Bayesian Inference参考文献 10被引用数 8

ひとこと要約

本稿では、任意の基本共分散関数を用いて非ステーションリティおよびマルチモーダルなデータをモデル化するため、潜在変数を組み込んだラティントガウス過程回帰を提案する。モンテカルロ近似による潜在変数の周辺化により、過剰なパrameter化を伴わずに複雑なデータ構造を柔軟に非パrametricにモデル化可能であり、合成データ、モーショングラフ、地球統計的データにおいて、標準的なガウス過程を上回る性能を示す。

ABSTRACT

We introduce Latent Gaussian Process Regression which is a latent variable extension allowing modelling of non-stationary multi-modal processes using GPs. The approach is built on extending the input space of a regression problem with a latent variable that is used to modulate the covariance function over the training data. We show how our approach can be used to model multi-modal and non-stationary processes. We exemplify the approach on a set of synthetic data and provide results on real data from motion capture and geostatistics.

研究の動機と目的

• 標準的なガウス過程が非ステーションリティおよびマルチモーダルなデータをモデル化する際の限界、特にグローバルなステーションリティ仮定の不成立を解決すること。
• パrameter数の爆発を防ぎながら、単一のガウス過程で複数の潜在プロセスを統合的にモデル化できるフレームワークの構築。
• 解析的期待値の代わりに効率的なモンテカルロ近似を用いることで、複雑な非可解な共分散関数に対しても実行可能な推論を可能にすること。
• 合成データ、モーションキャプチャシーケンス、および実世界の地球統計的データ（例：ジュラの鉱物濃度）において、本手法の有効性を示すこと。

提案手法

• 入力空間を変調する潜在変数を導入し、隠れ成分の割り当てに基づいて局所的に共分散関数が適応可能になるようにする。
• 各潜在成分に関連付けられた基本共分散関数（例：平方指数）の積として構築された因子化カーネルを用いる。
• 解析的計算の代わりにモンテカルロサンプリングを用いて潜在変数を周辺化する変分推論フレームワークを適用する。
• 潜在空間から導出された成分確率分布を用いて、観測値を成分に確率的割り当てする。
• 各成分ごとの予測分布を用いて予測を生成することで、単一の入力空間からマルチモーダル回帰を実現する。
• サンプリングに基づく近似を活用することで、もともと非可解な共分散関数を計算可能にし、実世界のデータに応用可能にする。

実験結果

リサーチクエスチョン

• RQ1 潜在変数の拡張により、モデルの複雑さを増さずにガウス過程が非ステーションリティおよびマルチモーダルなデータをモデル化可能か？
• RQ2 潜在成分の割り当てを用いて、1つの信号を複数の潜在プロセスに分解できるか？
• RQ3 モンテカルロ法が、複雑な共分散構造における変分ガウス過程推論の解析的期待値を効果的に置き換えられるか？
• RQ4 提案手法は、実世界の非ステーションリティおよびマルチモーダルなデータにおいて、標準的なガウス過程よりも一般化性能が優れているか？

主な発見

• 合成データ（重ね合わせた正弦波）において、観測値を別々のガウス過程で制御する異なる成分に分解することで、マルチモーダルなデータを効果的にモデル化した。
• モーションキャプチャデータにおいて、観測値を異なる潜在成分に割り当てることで、明確な動きのパターンを捉え、標準的なガウス過程よりも高い予測精度を達成した。
• 地球統計的応用（ジュラデータセット）において、成分固有の分散を用いて局所的な非ステーションリティをモデル化し、ノイズの多い領域での過信しすぎた予測を回避した。
• モンテカルロ周辺化の活用により、非可解な共分散関数に対しても推論が可能となり、実世界のデータに応用可能なスケーラブルで実用的なアプローチとなった。
• 事後分布における成分確率は、鉱物データにおける高濃度・低濃度ゾーンのような空間的に変化するプロセスの混合状態を明らかにしたが、標準的なガウス過程ではこれを捉えられなかった。