[論文レビュー] Remarks on multivariate Gaussian Process

Zexun Chen, Jun Fan+1 more|arXiv (Cornell University)|Oct 19, 2020

Gaussian Processes and Bayesian Inference参考文献 14被引用数 5

ひとこと要約

本稿は、ベクトル値関数空間上のガウス測度としての多次元ガウス過程（MV-GP）を測度論的に厳密に定義し、その存在を証明するとともに、厳密定常性や独立性といった基礎的性質を確立する。また、イトの補題を用いた多次元ブラウン運動を特殊ケースとして導出し、閉形式での推論とハイパーパrameter最適化を可能にする、多出力予測の統一的枠組みとしての多次元ガウス過程回帰を提示する。

ABSTRACT

Gaussian processes occupy one of the leading places in modern statistics and probability theory due to their importance and a wealth of strong results. The common use of Gaussian processes is in connection with problems related to estimation, detection, and many statistical or machine learning models. With the fast development of Gaussian process applications, it is necessary to consolidate the fundamentals of vector-valued stochastic processes, in particular multivariate Gaussian processes, which is the essential theory for many applied problems with multiple correlated responses. In this paper, we propose a precise definition of multivariate Gaussian processes based on Gaussian measures on vector-valued function spaces, and provide an existence proof. In addition, several fundamental properties of multivariate Gaussian processes, such as strict stationarity and independence, are introduced. We further derive multivariate Brownian motion including Itô lemma as a special case of a multivariate Gaussian process, and present a brief introduction to multivariate Gaussian process regression as a useful statistical learning method for multi-output prediction problems.

研究の動機と目的

• ベクトル値関数空間上のガウス測度を用いた、多次元ガウス過程の数学的に整合性のある定義を確立すること。
• 従来の応用において未解決であった、MV-GPの存在に関する理論的ギャップを解消すること。
• 行列変数ガウス分布のベクトル化に依存しない、多出力予測の統一的枠組みを提供すること。
• 古典的結果（例：イトの補題）を多次元ケースに拡張し、新しい定義のもとでの有効性を示すこと。
• 閉形式での周辺尤度と予測分布を備えた、多次元設定における強固な統計的学習を可能にすること。

提案手法

• 連続なベクトル値関数空間上のガウス測度としてMV-GPを定義し、測度論的基礎と整合性を保証する。
• ボホナー＝ミンロスの定理と関数空間上での特性関数の性質を用いて、MV-GPの存在を証明する。
• 共分散構造とスペクトル解析を通じて、MV-GPの厳密定常性および独立性条件を導入する。
• ベクトル値イト過程へのイットの公式の拡張により、d次元ブラウン運動に対する多次元イットの補題を導出する。
• 出力間相関を組み込んだカーネル関数を用いて、出力の同時分布として行列変数正規分布を用いた多次元ガウス過程回帰（MV-GPR）を構築する。
• クロネッカー積と行列逆行列を用いて、予測分布および周辺尤度を閉形式で定式化し、標準的な最適化手法を可能にする。

実験結果

リサーチクエスチョン

• RQ1 古典的ガウス過程をベクトル値関数へ拡張する適切で数学的に厳密な多次元ガウス過程の定義は何か？
• RQ2 測度論的道具を用いて、このような多次元ガウス過程の存在をどのように証明できるか？
• RQ3 提案されたMV-GPフレームワークにおいて、多次元ブラウン運動とイットの補題は一貫して特殊ケースとして導出可能か？
• RQ4 行列変数ガウス分布のベクトル化に依存せずに、提案されたMV-GPフレームワークは多出力回帰をどのようにサポートするか？
• RQ5 特に、閉形式での推論とハイパーパrameter推定という観点から、統計的学習にどのような意味を持つのか？

主な発見

• 本稿は、ベクトル値関数空間上のガウス測度としての多次元ガウス過程の明確な定義を確立し、先行研究における基礎的曖昧性を解消した。
• ボホナー＝ミンロスの定理を用いた存在証明により、MV-GPが特性関数から厳密に構成可能であることが確認された。
• 多次元ブラウン運動はMV-GPの特殊ケースとして導出され、イットの補題は、出力間の共変動項を含むd次元過程へと拡張された。
• 多次元ガウス過程回帰（MV-GPR）は、周辺尤度および予測分布の両方について閉形式の表現を示した。
• 予測平均および共分散は行列演算で表現され、予測共分散には入力共分散と出力相関行列のクロネッカー積が関与する。
• 尤度および予測密度の閉形式構造のおかげで、ハイパーパrameter推定に標準的な最適化手法（例：最尤推定）が適用可能である。