[論文レビュー] Latent Correlation Gaussian Processes

Sami Remes, Markus Heinonen+1 more|arXiv (Cornell University)|Feb 27, 2017

Gaussian Processes and Bayesian Inference被引用数 1

ひとこと要約

本論文では、非ステーションナリティーカーネルと入力に依存する混合行列を用いて、複数の潜在プロセス間の入力依存性のある相関を捉える潜在相関ガウス過程（LCGP）モデルを提案する。変分ベイジアン推論を採用することで、LCGPは多出力回帰および分類において最先端の性能を達成し、特にEEGデータにおける意味のある脳領域間の潜在的プロセス結合を明らかにする。

ABSTRACT

We introduce a novel kernel that models input-dependent couplings across multiple latent processes. The pairwise joint kernel measures covariance along inputs and across different latent signals in a mutually-dependent fashion. A latent correlation Gaussian process (LCGP) model combines these non-stationary latent components into multiple outputs by an input-dependent mixing matrix. Probit classification and support for multiple observation sets are derived by Variational Bayesian inference. Results on several datasets indicate that the LCGP model can recover the correlations between latent signals while simultaneously achieving state-of-the-art performance. We highlight the latent covariances with an EEG classification dataset where latent brain processes and their couplings simultaneously emerge from the model.

研究の動機と目的

• 多出力ガウス過程回帰における複数の潜在プロセス間の複雑で入力依存性のある相関をモデル化すること。
• 標準的なGPモデルが潜在関数間の動的で非定常的な結合を捉えることの限界を克服すること。
• 共有される潜在構造を持つ複数の観測セットからの共同学習を可能にすること。
• 変分ベイジアン手法を用いて、分類および回帰のためのスケーラブルな推論フレームワークを導出すること。

提案手法

• LCGPモデルは、入力と潜在プロセスの両方の間で相互に依存する形で共分散を符号化する、新しいペアワイズ共同カーネルを用いる。
• 非定常な潜在成分を複数の出力に組み合わせるため、入力に依存する混合行列を導入する。
• プロビット分類および複数の観測セットのための近似事後分布推定を可能にするために、変分ベイジアン推論を採用する。
• カーネル構造のおかげで、固定された相関パターンを仮定せずに、柔軟でデータ駆動型の潜在信号依存関係の同定が可能となる。
• 動的結合を伴う共有潜在表現の学習によって、多出力予測を実現するフレームワークを提供する。
• 推論手順により、潜在プロセス間の相関に関するスケーラブルな最適化をエンドツーエンドで実現できる。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程モデルは、多出力回帰における複数の潜在プロセス間の入力依存性のある相関を効果的に捉えることができるか？
• RQ2 LCGPモデルは、実世界のデータ（例：EEG信号）において、真の潜在的信号結合をどれほど正確に回復できるか？
• RQ3 入力に依存する混合を組み込むことで、標準的なGPモデルと比較して予測性能が向上するか？
• RQ4 LCGPモデルは、共有される潜在構造を学習しながら、複数の観測セットを同時に処理できるか？
• RQ5 EEGデータにおけるモデルが学習した相関を通じて、潜在的脳プロセスに関するどのような知見が得られるか？

主な発見

• LCGPモデルは、多出力回帰および分類タスクにおける複数のベンチマークデータセットで最先端の性能を達成した。
• EEG分類データセットにおいて、生物学的に妥当な潜在的脳プロセスとその動的結合を効果的に回復した。
• 学習された潜在共分散は、神経生理学的期待と整合する脳領域間の意味のある機能的関係を明らかにした。
• モデルは、非定常的で入力に依存する関数間の依存関係を捉える上で、強固で柔軟な性能を示した。
• 変分ベイジアン推論により、複数の観測セットが存在する場合でも、効果的でスケーラブルな学習が可能となった。
• 解釈可能な潜在構造を持つ複雑な相関出力のモデリングにおいて、既存のGPベースの手法を上回る性能を発揮した。