[論文レビュー] A Mutually-Dependent Hadamard Kernel for Modelling Latent Variable Couplings

Sami Remes, Markus Heinonen+1 more|arXiv (Cornell University)|Feb 27, 2017

Gaussian Processes and Bayesian Inference参考文献 34被引用数 4

ひとこと要約

本論文は、多出力回帰および分類における潜在ガウス過程の入力固有相関をモデル化する、新たな相互依存的ハダマードカーネルを導入する。ワイシャールト＝ギブス構造を用いて、入力に依存する信号分散と入力に依存する共分散を結合することにより、潜在相関ガウス過程（LCGP）モデルは最先端の性能を達成するとともに、解釈可能な潜在過程の結合関係を明らかにする。この有効性は、脳波信号の相関関係とP300反応が自然に出現するEEGデータにおいて実証された。

ABSTRACT

We introduce a novel kernel that models input-dependent couplings across multiple latent processes. The pairwise joint kernel measures covariance along inputs and across different latent signals in a mutually-dependent fashion. A latent correlation Gaussian process (LCGP) model combines these non-stationary latent components into multiple outputs by an input-dependent mixing matrix. Probit classification and support for multiple observation sets are derived by Variational Bayesian inference. Results on several datasets indicate that the LCGP model can recover the correlations between latent signals while simultaneously achieving state-of-the-art performance. We highlight the latent covariances with an EEG classification dataset where latent brain processes and their couplings simultaneously emerge from the model.

研究の動機と目的

• 多出力ガウス過程モデルにおける複数の潜在過程間の入力依存的結合をモデル化すること。
• 入力と潜在信号の間の相互依存関係を捉える非ステーションリティで構造的な共分散カーネルを構築すること。
• GPRNフレームワークを、一般化性能と解釈可能性を向上させる潜在相関構造で拡張すること。
• 共有される潜在相関を有する複数観測設定におけるスケーラブルな推論を可能にすること。
• モデルが真の潜在相関関係を回復できること、および回帰および分類において最先端の性能を達成できることを実証すること。

提案手法

• 非ステーションリティな入力カーネルとワイシャールトベースの共分散カーネルを組み合わせた、相互依存的ハダマードカーネルを提案する。
• 出力が入力に依存する混合行列 B(x) を通じて Q 個の潜在信号の線形結合として表される、潜在相関ガウス過程（LCGP）フレームワークを採用する。
• 潜在信号の共分散構造をパrameter化するためにワイシャールト＝ギブスモデルを用い、入力に依存する信号分散と共分散を可能にする。
• 複数の観測セットにわたるスケーラブルなトレーニングを実現するため、ホワイトナイズド勾配を用いた変分ベイズ推論を導出する。
• 統一された確率的フレームワーク内で潜在変数と出力尤度をモデル化することで、回帰およびProbit分類を両立させる。
• 複数被験者のEEGデータにモデルを適用し、個々の被験者モデルの正則化に共有される潜在相関を用いる。

実験結果

リサーチクエスチョン

• RQ1 非ステーションリティで入力に依存する共分散カーネルは、多タスク学習における潜在過程結合を効果的にモデル化できるか？
• RQ2 入力と潜在信号カーネルの相互依存性は、独立したカーネル仮定と比較して、モデル性能と解釈可能性を向上させるか？
• RQ3 真の潜在信号相関関係が既知の合成データにおいて、モデルは真の相関関係を回復できるか？
• RQ4 共有される潜在相関を有する複数観測設定において、LCGPはどの程度の性能を示すか？
• RQ5 モデルはEEG分類において、P300反応のような生物学的に意味のある脳波ダイナミクスを明らかにできるか？

主な発見

• LCGPモデルは回帰および分類タスクにおいて最先端の性能を達成し、EEGデータにおいて正則化LDAベースラインを有意に上回った（p < 0.05）。
• EEGデータセットにおいて、モデルは生物学的に妥当な潜在信号ダイナミクスを的確に回復した。特に、刺激後約300msにピークを示すP300に類似した反応が第3の潜在信号で観察された。
• シミュレーションスタディにおいて、潜在信号の共分散が正確に学習された。フィッシャーの結合p値は、モデルがランダムな共分散サンプリングを有意に上回ることを示した（p < 0.05）。
• モデルは構造的な結合パターンを明らかにした：第1および第3信号間では共分散が単調増加的であり、第1および第2信号間では周期的共分散を示しており、神経ダイナミクスと整合的であった。
• 分類器の重みとスカラップマップから、学習された潜在成分が判別的であり、EEGチャネル全体で空間的に一貫性を示していることがわかった。
• 共有される潜在相関構造は、複数被験者EEG解析における個々の観測モデルの正則化に効果的に寄与し、一般化性能を向上させた。