[論文レビュー] Gaussian Processes and Kernel Methods: A Review on Connections and Equivalences

Motonobu Kanagawa, Philipp Hennig+2 more|arXiv (Cornell University)|Jul 6, 2018

Gaussian Processes and Bayesian Inference参考文献 70被引用数 193

ひとこと要約

本論文は、Gaussian process (GP) Bayesian 手法と reproducing kernel Hilbert space (RKHS) カーネル法との深い結びつきを概観し、結果の横断的移転を促進するための同等性と差異を明確化します。

ABSTRACT

This paper is an attempt to bridge the conceptual gaps between researchers working on the two widely used approaches based on positive definite kernels: Bayesian learning or inference using Gaussian processes on the one side, and frequentist kernel methods based on reproducing kernel Hilbert spaces on the other. It is widely known in machine learning that these two formalisms are closely related; for instance, the estimator of kernel ridge regression is identical to the posterior mean of Gaussian process regression. However, they have been studied and developed almost independently by two essentially separate communities, and this makes it difficult to seamlessly transfer results between them. Our aim is to overcome this potential difficulty. To this end, we review several old and new results and concepts from either side, and juxtapose algorithmic quantities from each framework to highlight close similarities. We also provide discussions on subtle philosophical and theoretical differences between the two approaches.

研究の動機と目的

• ベイズ的 GP 推論と頻度論 RKHS カーネル法の概念的ギャップを埋める。
• GP 後方確率量がいつカーネル法の量と対応し得るかを明確にし、後方分散を頻度論的に解釈する。
• GP prior と RKHS の仮説空間の違いがモデリングと分析に何を意味するかを論じる。
• 収束、後方収束、積分変換における結びつきを示し、結果の跨分野移転を可能にする。
• どちらの分野にも新人の研究者のための教育的概要を提供する。

提案手法

• GP と RKHS のフレームワークからのアルゴリズム的量を比較し、類似点を強調する。
• GP 後方平均が kernel ridge 回帰推定量と一致する等価性を説明する。
• GP 回帰の後方分散を RKHS における最悪ケース誤差として示し、平均ケースと最悪ケースの解析を結ぶ。
• スペクトル表現（Mercer、Karhunen–Loève）を用いて GP サンプルと RKHS 関数を比較する。
• GP 回帰の収束率と RKHS ベースの解析を結びつけることで、収束と収束後の分析を比較する。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程回帰と kernel ridge 回帰は、推定量と正則化の点でどの程度等価か。
• RQ2 GP 後方分散は RKHS ベースの回帰における最悪ケース誤差としてどのように解釈できるか。
• RQ3 GP ドローと RKHS 仮説空間、特にサンプル経路と滑らかさに関する正確な関係は何か。
• RQ4 GP 回帰の収束率と後方収束は kernel ridge 回帰のそれとどのように関連するか。
• RQ5 kernel mean embeddings や HSIC などの積分変換は GP と RKHS の視点をどのようにつなぐか。

主な発見

• GP 回帰の後方平均は、同じカーネルを用いた場合 kernel ridge 回帰推定量と一致する。
• GP 回帰の後方分散は RKHS における最悪ケース誤差に対応し、平均ケースと最悪ケースの解析を結びつける。
• kernel ridge 回帰の正則化と GP 回帰の加法的ガウスノイズは、平滑化とバイアス-分散のトレードオフの類似した役割を果たす。
• GP のサンプル経路はほとんど surely RKHS の外側に位置するが、RKHS に関連するより大きな関数空間に存在し、フレームワーク横断の洞察を可能にする。
• GP 回帰の収束率は、わずかに大きい空間への近似埋め込みを考慮することで kernel ridge 回帰の結果から取り戻せ、ノイズ分散の挙動は正則化スケジュールに結びつく。