[論文レビュー] Non-asymptotic Analysis in Kernel Ridge Regression.

Zejian Liu, Meng Li|arXiv (Cornell University)|Jun 2, 2020

Statistical Methods and Inference参考文献 35被引用数 5

ひとこと要約

本稿では、多変数の定義域を持つ任意のメルサーカーネルに対して、作用素論的枠組みを用いた非漸近的解析を通じて、カーネルリッジ回帰の誤差バウンドを、上限ノルムおよび重み付き $L_2$ ノルムの両方で導出する。マーティン核に対してはほぼミニマックス最適な学習レートを確立し、混合偏微分とガウス過程の事後分散に関する新たな非漸近的結果を提示する。

ABSTRACT

We develop a general non-asymptotic analysis of learning rates in kernel ridge regression (KRR), applicable for arbitrary Mercer kernels with multi-dimensional support. Our analysis is based on an operator-theoretic framework, at the core of which lies two error bounds under reproducing kernel Hilbert space norms encompassing a general class of kernels and regression functions, with remarkable extensibility to various inferential goals through augmenting results. When applied to KRR estimators, our analysis leads to error bounds under the stronger supremum norm, in addition to the commonly studied weighted $L_2$ norm; in a concrete example specialized to the Matern kernel, the established bounds recover the nearly minimax optimal rates. The wide applicability of our analysis is further demonstrated through two new theoretical results: (1) non-asymptotic learning rates for mixed partial derivatives of KRR estimators, and (2) a non-asymptotic characterization of the posterior variances of Gaussian processes, which corresponds to uncertainty quantification in kernel methods and nonparametric Bayes.

研究の動機と目的

• 多変数の定義域を持つ任意のメルサーカーネルに適用可能な、一般化された非漸近的誤差解析の構築。
• 標準的な $L_2$ ノルムを超えて、より強い上限ノルムへの誤差バウンドの拡張により、収束特性の改善。
• 非パラメトリック回帰の主要なベンチマークであるマーティン核に対するほぼミニマックス最適な学習レートの確立。
• KRR推定量の混合偏微分の非漸近的学習レートの導出により、信頼性のある微分推定が可能になる。
• ガウス過程における事後分散の非漸近的特徴付けを提供し、カーネル法における不確実性の定量化を支援する。

提案手法

• 作用素論的枠組みに裏打ちされた分析で、カーネル積分作用素とその固有値特性をモデル化する。
• 再生核ヒルベルト空間（RKHS）ノルムの下で、広範なカーネルと回帰関数のクラスに適用可能な2つの一般誤差バウンドを導出する。
• スペクトル分解と正則化を活用して、KRRにおけるバイアスとバリアンスのトレードオフを制御する。
• ノルムの同値性と作用素ノルムの不等式を用いて、RKHSノルムから上限ノルムへの移行を実現する。
• カーネルの微分によるKRR推定量の滑らかさ特性を分析することで、混合偏微分への応用を可能にする。
• 事後分散に関しては、ガウス過程回帰における共分散作用素の非漸近的挙動を特徴付けるアプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 一般のメルサーカーネルに対して、上限ノルムにおけるカーネルリッジ回帰の非漸近的学習レートはどのように確立できるか？
• RQ2 導出された誤差バウンドは、特にマーティン核においてミニマックス最適レートとどのように比較されるか？
• RQ3 KRR推定量の混合偏微分の非漸近的学習レートを取得できるか？
• RQ4 カーネル法の下で、ガウス過程における事後分散の非漸近的挙動は何か？
• RQ5 作用素論的枠組みは、平均予測を超える多様な推論的目標をサポートするためにどのように拡張可能か？

主な発見

• 本稿では、上限ノルムにおける非漸近的誤差バウンドを確立し、これは標準的な $L_2$ ベースのバウンドよりも強い。
• マーティン核に対しては、導出された学習レートがほぼミニマックス最適であり、理論的タイトネスを確認する。
• KRR推定量の混合偏微分の非漸近的学習レートが導出され、微分推定における不確実性の定量化が可能になる。
• ガウス過程における事後分散の非漸近的特徴付けが提供され、厳密な不確実性の定量化を支援する。
• 作用素論的枠組みは、微分推定や事後分散分析を含む多様な推論タスクへの拡張を可能にする。