[論文レビュー] Reproducing Kernel Hilbert Space, Mercer's Theorem, Eigenfunctions, Nyström Method, and Use of Kernels in Machine Learning: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi+2 more|arXiv (Cornell University)|Jun 15, 2021

Neural Networks and Applications参考文献 129被引用数 12

ひとこと要約

このチュートリアルおよびサーベイ論文は、機械学習におけるカーネル法について包括的な概説を提供しており、再生核ヒルベルト空間（RKHS）、メルツァーの定理、固有関数、および大規模機械学習におけるカーネル近似のためのニストルム法に焦点を当てている。カーネルの関数解析における理論的基盤と、カーネルベースの学習アルゴリズムにおける実用的応用を説明しており、主な貢献は大規模機械学習におけるスケーラブルなカーネル近似のためのニストルム法の詳細な取り扱いである。

ABSTRACT

This is a tutorial and survey paper on kernels, kernel methods, and related fields. We start with reviewing the history of kernels in functional analysis and machine learning. Then, Mercer kernel, Hilbert and Banach spaces, Reproducing Kernel Hilbert Space (RKHS), Mercer's theorem and its proof, frequently used kernels, kernel construction from distance metric, important classes of kernels (including bounded, integrally positive definite, universal, stationary, and characteristic kernels), kernel centering and normalization, and eigenfunctions are explained in detail. Then, we introduce types of use of kernels in machine learning including kernel methods (such as kernel support vector machines), kernel learning by semi-definite programming, Hilbert-Schmidt independence criterion, maximum mean discrepancy, kernel mean embedding, and kernel dimensionality reduction. We also cover rank and factorization of kernel matrix as well as the approximation of eigenfunctions and kernels using the Nystr{ö}m method. This paper can be useful for various fields of science including machine learning, dimensionality reduction, functional analysis in mathematics, and mathematical physics in quantum mechanics.

研究の動機と目的

• 機械学習におけるカーネル法の数学的基盤について、統一的かつアクセス可能なチュートリアルを提供すること。
• 再生核ヒルベルト空間（RKHS）とメルツァーの定理がカーネルベースの学習を可能にする役割を明確にすること。
• SVM、カーネルPCA、および独立性検定を含む、多様な機械学習応用におけるカーネルの使用をサーベイすること。
• ニストルム法を、特に多様体学習において、大規模なカーネル行列のスケーラブルな近似技術として説明すること。
• 関数解析における理論的概念と、現代の機械学習における実装の間を橋渡しすること。

提案手法

• ヒルベルトとシュミットの積分方程式に関する業績からメルツァーの定理およびRKHS理論に至るまでのカーネルの歴史的発展を体系的にレビューする。
• メルツァー・カーネルの構築とその性質（有界性、普遍的、特徴的カーネルクラスなど）を説明する。
• 固有関数がカーネル作用素における役割を詳細に記述し、代表定理を介してカーネル法との関連を示す。
• ニストルム法を、データポイントのサブセット（ランドマーク）を用いて全カーネル行列を近似する低ランク近似技術として導入する。
• ブロック行列分解を用いてニストルム近似式を導出し、カーネル行列補完と同等であることを示す。
• 近似精度を向上させつつ計算効率を維持するためのランドマーク選択の最適化およびサンプリング戦略を議論する。

実験結果

リサーチクエスチョン

• RQ1 再生核ヒルベルト空間（RKHS）は、機械学習におけるカーネル法の理論的基盤をどのように提供するか？
• RQ2 メルツァーの定理は、正定値カーネルの数学的裏付けをどのように提供するのか？また、正定値カーネルとどのように関連するか？
• RQ3 カーネル作用素の固有関数は、RKHSにおけるデータ構造を理解するためにどのように利用できるか？
• RQ4 ニストルム法は、大規模データセットにおけるスケーラブルなカーネル近似をどのように可能にするか？
• RQ5 ニストルムベースのカーネル近似におけるランドマーク選択の理論的および実用的妥当性のトレードオフは何か？

主な発見

• メルツァーの定理は、正定値カーネルをヒルベルト空間内の内積として表現する厳密な基盤を提供し、カーネル法の利用を可能にする。
• ニストルム法は、データポイントのサブセット（ランドマーク）をサンプリングすることで、カーネル行列の正確な低ランク近似を達成する。カーネル行列のランクがランドマーク数以下である限り、正確性が保証される。
• 多くの現実のデータセットでは、多様体仮説によりカーネル行列が低ランクであるため、ニストルム法は実用的に特に効果的である。
• ニストルム法の近似誤差は有界であり、グリーディーまたはスパース多様体ベースのサンプリングなどの知的なランドマーク選択によって最小化できる。
• ニストルム法は、多様体的スケーリング（MDS）や局所線形埋め込み（LLE）などのランドマークベースのスペクトル埋め込み技術と数学的に同等である。
• カーネルSVM、ガウス過程、カーネルPCAといったカーネル法は、すべてRKHSフレームワークに根ざしており、代表定理により一意解の存在が保証される。