[論文レビュー] A Joint introduction to Gaussian Processes and Relevance Vector Machines with Connections to Kalman filtering and other Kernel Smoothers

Luca Martino, Jesse Read|arXiv (Cornell University)|Sep 19, 2020

Gaussian Processes and Bayesian Inference参考文献 53被引用数 70

ひとこと要約

本稿は、カーネルリッジ回帰を通じてガウス過程（GPs）と関連性ベクターマシン（RVMs）を統一的な確率的枠組みで結びつける。Kalmanフィルタリングおよびカーネルスムージングとの関連性も強調している。数学的に、特定の状態空間モデル下でGPスムージング解がKalmanスムージング解と等価であることを示しており、ベイジアン非パラメトリック法と信号処理手法における回帰、フィルタリング、スムージング、補間の統一的視点を提供する。

ABSTRACT

The expressive power of Bayesian kernel-based methods has led them to become an important tool across many different facets of artificial intelligence, and useful to a plethora of modern application domains, providing both power and interpretability via uncertainty analysis. This article introduces and discusses two methods which straddle the areas of probabilistic Bayesian schemes and kernel methods for regression: Gaussian Processes and Relevance Vector Machines. Our focus is on developing a common framework with which to view these methods, via intermediate methods a probabilistic version of the well-known kernel ridge regression, and drawing connections among them, via dual formulations, and discussion of their application in the context of major tasks: regression, smoothing, interpolation, and filtering. Overall, we provide understanding of the mathematical concepts behind these models, and we summarize and discuss in depth different interpretations and highlight the relationship to other methods, such as linear kernel smoothers, Kalman filtering and Fourier approximations. Throughout, we provide numerous figures to promote understanding, and we make numerous recommendations to practitioners. Benefits and drawbacks of the different techniques are highlighted. To our knowledge, this is the most in-depth study of its kind to date focused on these two methods, and will be relevant to theoretical understanding and practitioners throughout the domains of data-science, signal processing, machine learning, and artificial intelligence in general.

研究の動機と目的

• 回帰におけるガウス過程（GPs）と関連性ベクターマシン（RVMs）の共通の理論的・計算的枠組みを確立すること。
• 確率的カーネルリッジ回帰（ベイジアンリッジ回帰）を通じて、GPとRVM手法の関係を明確にすること。
• 離散時間の状態空間モデルと特定の共分散構造を仮定した場合に、ガウス過程スムージングとKalmanスムージングが数学的に等価であることを示すこと。
• GPs、RVMs、カーネルスムージング、Kalmanフィルタリングを結びつけることで、機械学習、信号処理、統計の概念を統一すること。
• 両者の枠組み（GPとRVM）における不確実性推定、カーネル選択、関数の事前分布／事後分布サンプリングに関する実用的指針を提供すること。

提案手法

• 係数に自動関連性決定（ARD）事前分布を用いたベイジアン線形回帰により、RVM解を導出する。
• RVMとGPの間のブリッジとして機能する確率的カーネルリッジ回帰（KRR）の確率的バージョンを導入し、これを「準-GP」と呼ぶ。
• 定常共分散関数 ψ(t, t′) = γ^|t−t′|σ²_v / (1 − γ²) を持つゼロ平均ガウス過程事前分布を用いて、GP解を導出する。
• RVM解が特定のカーネル構造下でGP事後分布として解釈可能であることを示す双対形式を確立する。
• GP共分散関数を一次マルコフ過程を持つ状態空間モデルにマッピングすることで、GPスムージングとKalmanスムージングの等価性を示す。
• 連続時間線形確率的微分方程式を用いて、基礎となるGPプロセスのスペクトル密度および共分散関数を導出し、状態空間モデルのパワー・スペクトル密度と関連付ける。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程と関連性ベクターマシンを、共通の確率的枠組みで統合する方法は何か？
• RQ2 離散時間および連続時間において、GPスムージングとKalmanスムージングの明確な数学的関係は何か？
• RQ3 RVMにおける基底関数の選択と、GPにおけるカーネル選択の間で、予測分散と解釈可能性の観点からどのように異なるか？
• RQ4 カーネルリッジ回帰、カーネルスムージング、k-NNスキームは、GPおよびRVM手法とどのように関係しているか？
• RQ5 線形SDEから出発する状態空間モデルとして、GPの状態空間表現を導出可能か？また、これによりプロセスのスペクトル密度とどのように関連するか？

主な発見

• GP共分散関数が特定の自己相関構造を持つ一次マルコフ過程に対応する場合、GPスムージング解は数学的にKalmanスムージング解と等価である。
• GPモデルにおける予測分散は、観測点からの距離に応じて滑らかに単調に減少するが、RVMでは基底関数の選択により直感に反する分散挙動を示すことがある。
• RVMは基底関数設計の柔軟性が高く、ドメイン特化のモデリングに適しているが、GPsは有効なカーネル関数を定義する必要があるという制約を受ける。
• 定数係数を有する線形SDEから導かれるGPプロセスのパワー・スペクトル密度は、Kalmanフィルタの状態遷移ダイナミクスのスペクトル表現と一致する。
• Kalmanスムージングの後向き再帰式は、同一のカーネルおよび観測モデル下で、GPの事後平均および分散を正確に再現する。
• 本稿は、状態空間モデルにおける状態遷移行列が、GPのカーネル関数を暗黙的に誘導することを確立しており、ベイジアン非パラメトリック回帰と古典的フィルタリング理論との深い関連性を示している。