[論文レビュー] Heterogeneous Multi-output Gaussian Process Prediction

Pablo Moreno-Muñoz, Antonio Artés-Rodrı́guez+1 more|arXiv (Cornell University)|May 19, 2018

Gaussian Processes and Bayesian Inference参考文献 33被引用数 36

ひとこと要約

本論文は、混合型出力—連続的、バイナリ、カテゴリカル、離散的—を同時に予測する非均質的マルチアウトプットガウス過程モデルを提案する。各出力の尤度パラメータは、線形コリージョナル化モデル（LMC）を用いたベクトル値ガウス過程からの共有潜在関数によってモデル化される。誘導変数を用いた確率的変分推論により、スケーラブルで計算可能な推論が可能となり、合成データおよび実世界のデータセット（人間の行動データや高次元の人口統計データを含む）において、予測性能が向上することを示した。

ABSTRACT

We present a novel extension of multi-output Gaussian processes for handling heterogeneous outputs. We assume that each output has its own likelihood function and use a vector-valued Gaussian process prior to jointly model the parameters in all likelihoods as latent functions. Our multi-output Gaussian process uses a covariance function with a linear model of coregionalisation form. Assuming conditional independence across the underlying latent functions together with an inducing variable framework, we are able to obtain tractable variational bounds amenable to stochastic variational inference. We illustrate the performance of the model on synthetic data and two real datasets: a human behavioral study and a demographic high-dimensional dataset.

研究の動機と目的

• 連続的、バイナリ、カテゴリカル、離散的変数を混合した出力を扱うマルチアウトプット回帰の課題に取り組むこと。従来のマルチアウトプットGPモデルはガウス尤度を仮定しているが、本研究ではその制限を克服する。
• 複数の非ガウス尤度を含むモデルにおける連合推論の非可解性を克服し、計算可能な変分推論フレームワークを構築すること。
• 誘導変数フレームワークと確率的変分推論を統合することで、大規模データセットにおけるスケーラブルな学習を可能にすること。
• 共有潜在関数を通じた非均質的出力の同時モデリングが、個別にモデリングする場合に比べて予測性能を向上させることを示すこと。
• ユーザーが尤度のリスト（例：ベルヌーイ、ポアソン、不等分散ガウス）を指定できる柔軟で拡張可能な実装を提供し、尤度ごとに潜在関数の数を自動割り当てすること。

提案手法

• 各出力の尤度パラメータ（例：平均、精度）を、線形コリージョナル化モデル（LMC）共分散構造を持つベクトル値ガウス過程から得られる共有潜在関数の関数としてモデル化する。
• すべての出力にわたる潜在関数の共同事前分布を設定し、各出力の尤度は対応する潜在関数が与えられたもとで条件付き独立であると仮定する。
• 非可解な潜在関数の事後分布を近似するために、誘導変数を用いた変分推論フレームワークを適用し、スケーラブルな計算を実現する。
• マージナル尤度の下界に基づく確率的変分推論の目的関数を導出し、ミニバッチによる確率的勾配降下法による最適化に適した形にすること。
• AlvarezとLawrence（2009）のスパースGP近似を活用し、計算複雑度をO(N³)からO(NM²)に低下（Mは誘導点の数）。
• Pythonで実装し、ユーザーフレンドリーなインターフェースを提供。尤度はリスト形式（例：[Bernoulli(), Poisson(), HetGaussian()]）で指定され、尤度ごとの潜在関数の数は自動的に決定される。

実験結果

リサーチクエスチョン

• RQ1 異なる尤度関数（例：ガウス、ベルヌーイ、ポアソン）を持つ非均質的出力を効果的に扱いながら、計算の可解性を維持できるマルチアウトプットGPモデルは存在するか？
• RQ2 共有潜在関数を通じた非均質的出力の同時モデリングは、個別モデリングに比べて予測性能を向上させるか？
• RQ3 欠損値やノイズの多いデータにおいて、モデルは出力間相関をどの程度活用して予測を改善するか？
• RQ4 本手法は、混合出力タイプを有する大規模な実世界データセットにおいて、どの程度スケーラブルか？
• RQ5 独立にモデリングする場合に見逃されるような複雑な非ガウス的依存関係（例：行動データにおける周期的パターン）を、モデルは捉えることができるか？

主な発見

• 人間の行動データセットでは、最初の出力（睡眠時間）に周期的なパターン（サーカディアンリズム）を効果的に捉え、共有潜在関数を通じて他の出力（移動量、社会的相互作用）へと伝達され、全体の予測性能が向上した。
• ロンドンの住宅価格データセット（N=20,000）では、非均質的マルチアウトプットGPが全体のNLPD 16.44±0.01を達成し、独立モデル（ChainedGP）の17.31±1.06を上回り、バイナリ（部屋の種別）と連続的（価格）出力の同時モデリングにおいて顕著な改善を示した。
• 高次元の不整脈データセット（p=255, N=452）では、バイナリ（性別）と連続的（対数年齢）出力の平均NLPDが0.0191であり、独立モデル（ChainedGP）と差がなかった。これは、高次元設定でも安定性を示している。
• 欠損データや複雑な依存関係が存在する状況（例：行動データにおけるサーカディアンリズム）では、性能向上が顕著であり、独立モデリングでは周期性を捉えられなかった。
• 確率的変分推論の活用により、大規模データセットでも効率的な学習が可能であり、ミニバッチとM=100の誘導点を用いた収束が確認された。
• アブレーションスタディにより、予測性能の向上は出力間相関のモデリングに起因することが確認され、出力間相関が低くても独立学習を上回る性能を示した。