[論文レビュー] Asymptotic Confidence Sets for General Nonparametric Regression and Classification by Regularized Kernel Methods

Robert Hable|ERef Bayreuth (University of Bayreuth)|Mar 20, 2012

Numerical methods in inverse problems参考文献 19被引用数 3

ひとこと要約

本稿は、サポートベクターマシンや最小二乗サポートベクターレグレッションなどの正則化カーネル法から導かれる一般非パラメトリック関数型の漸近的有効な信頼集合を確立する。推定量の漸近正規性を証明し、極限共分散行列の強一貫推定量を導出することで、正則化解の点ごとの値、勾配、積分、ノルムなどの関数型に対する有効な推論が可能になる。

ABSTRACT

Regularized kernel methods such as, e.g., support vector machines and least-squares support vector regression constitute an important class of standard learning algorithms in machine learning. Theoretical investigations concerning asymptotic properties have manly focused on rates of convergence during the last years but there are only very few and limited (asymptotic) results on statistical inference so far. As this is a serious limitation for their use in mathematical statistics, the goal of the article is to fill this gap. Based on asymptotic normality of many of these methods, the article derives a strongly consistent estimator for the unknown covariance matrix of the limiting normal distribution. In this way, we obtain asymptotically correct confidence sets for $ψ(f_{P,λ_0})$ where $f_{P,λ_0}$ denotes the minimizer of the regularized risk in the reproducing kernel Hilbert space $H$ and $ψ:H ightarrow\mathds{R}^m$ is any Hadamard-differentiable functional. Applications include (multivariate) pointwise confidence sets for values of $f_{P,λ_0}$ and confidence sets for gradients, integrals, and norms.

研究の動機と目的

• 数学統計における正則化カーネル法に対する統計的推論ツールの不足に対処すること。
• 再生核ヒルベルト空間における正則化リスクの最小化子の関数型に対する漸近的有効な信頼集合を構築すること。
• 推定量の極限正規分布の漸近的共分散行列に対する一貫推定量を提供すること。
• 点ごとの値、勾配、積分、学習関数のノルムを含む広範な関数型クラスに対する推論を可能にすること。

提案手法

• 先行研究（例：[10, 定理3.1]）で確立された正則化カーネル推定量の漸近正規性を活用し、スケーリングされた推定量の弱収束をガウス過程に導く。
• 関数的デルタ法の原則を適用して、任意のハダマード微分可能な関数型 ψ:H→ℝ^m に対して弱収束を正規極限分布に変換する。
• 損失関数の2階微分とカーネル行列を含む線形方程式系を解くことで、漸近的共分散行列 Σ_P の一貫推定量を導出する。
• 表現定理フレームワークにおける双対表現を用い、解を訓練点におけるカーネル関数の線形結合として表現する。
• カーネル行列、損失関数のヘッセ行列、および訓練特徴空間の基底を含む行列の逆行列を用いて共分散推定量を構築する。
• 特徴ベクトルの最大線形独立部分集合への射影を施すことで、共分散推定手順における数値的安定性と逆行列の存在を保証する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリック設定下で、正則化カーネル推定量の一般関数型に対する漸近的信頼集合を構築することは可能か？
• RQ2 正則化カーネル推定量の極限正規分布の漸近的共分散行列に対する一貫推定量を導出することは可能か？
• RQ3 点ごとの値、勾配、積分、学習関数のノルムなどの関数型に対する信頼集合をどのように構築できるか？
• RQ4 一般正則化カーネル法において、共分散推定量の一貫性を保証する条件は何か？

主な発見

• 正則化カーネル推定量の漸近的共分散行列に対する強一貫推定量が導出され、有効な漸近的推論が可能になる。
• 本手法は、点ごとの値、勾配、積分、最小化子 f_{P,λ₀} のノルムを含む広範な関数型クラスに対する信頼集合をサポートする。
• 共分散推定量は、カーネル行列、損失関数のヘッセ行列、および訓練特徴空間の基底を含む双対表現を介して構築される。
• 正則化カーネル推定量が漸近的に正規的であり、関数型 ψ がハダマード微分可能であるという仮定の下で、共分散推定量の一貫性が確立される。
• 本手法は、サポートベクターマシンや最小二乗サポートベクターレグレッションなどの標準的正則化カーネル法に適用可能である。
• 本手法により真の正則化解 f_{P,λ₀} に対する推論が可能であるが、非パラメトリック設定下での一様収束結果の欠如により、正則化なし最小化子に対する推論は不可能である。