[论文解读] Asymptotic Confidence Sets for General Nonparametric Regression and Classification by Regularized Kernel Methods

Robert Hable|ERef Bayreuth (University of Bayreuth)|Mar 20, 2012

Numerical methods in inverse problems参考文献 19被引用 3

一句话总结

本文为通过正则化核方法（如支持向量机和最小二乘支持向量回归）导出的一般非参数泛函建立了渐近有效的置信集。通过证明估计量的渐近正态性并推导出极限协方差矩阵的强一致估计量，该方法使对正则化解的点值、梯度、积分和范数等泛函的有效推断成为可能。

ABSTRACT

Regularized kernel methods such as, e.g., support vector machines and least-squares support vector regression constitute an important class of standard learning algorithms in machine learning. Theoretical investigations concerning asymptotic properties have manly focused on rates of convergence during the last years but there are only very few and limited (asymptotic) results on statistical inference so far. As this is a serious limitation for their use in mathematical statistics, the goal of the article is to fill this gap. Based on asymptotic normality of many of these methods, the article derives a strongly consistent estimator for the unknown covariance matrix of the limiting normal distribution. In this way, we obtain asymptotically correct confidence sets for $ψ(f_{P,λ_0})$ where $f_{P,λ_0}$ denotes the minimizer of the regularized risk in the reproducing kernel Hilbert space $H$ and $ψ:H ightarrow\mathds{R}^m$ is any Hadamard-differentiable functional. Applications include (multivariate) pointwise confidence sets for values of $f_{P,λ_0}$ and confidence sets for gradients, integrals, and norms.

研究动机与目标

• 解决数学统计中正则化核方法缺乏统计推断工具的问题。
• 在再生核希尔伯特空间中，为正则化风险最小化器的泛函建立渐近有效的置信集。
• 为估计量极限正态分布的渐近协方差矩阵提供一致估计量。
• 使对广泛类别的泛函（包括点值、梯度、积分和学习函数的范数）实现推断。

提出的方法

• 利用先前研究中建立的正则化核估计量的渐近正态性（例如，[10, 定理3.1]），推导出缩放估计量弱收敛于高斯过程。
• 应用泛函δ-方法原理，将弱收敛转化为任意Hadamard可微泛函ψ:H→ℝ^m的正态极限分布。
• 通过涉及核矩阵和损失函数二阶导数的线性系统求解，推导出渐近协方差矩阵Σ_P的一致估计量。
• 在再生表示定理框架下，利用解的对偶表示，将解表示为在训练点处取值的核函数的线性组合。
• 通过涉及核矩阵、损失函数的Hessian矩阵以及训练特征空间基的矩阵求逆，构建协方差估计量。
• 对特征向量的最大线性无关子集进行投影，以确保协方差估计过程中逆矩阵的存在性与数值稳定性。

实验结果

研究问题

• RQ1 能否在非参数设定下，为正则化核估计量的一般泛函构造渐近置信集？
• RQ2 能否为正则化核估计量极限正态分布的渐近协方差矩阵推导出一致估计量？
• RQ3 如何为点值、梯度、积分和学习函数的范数等泛函构造置信集？
• RQ4 在一般正则化核方法下，协方差估计量一致性的条件是什么？

主要发现

• 推导出正则化核估计量渐近协方差矩阵的强一致估计量，从而实现有效的渐近推断。
• 该方法支持对广泛类别的泛函（包括点值、梯度、积分和最小化器f_{P,λ₀}的范数）的置信集。
• 协方差估计量通过涉及核矩阵、损失函数的Hessian矩阵以及训练特征空间基的对偶公式构建。
• 在正则化核估计量渐近正态且泛函ψ为Hadamard可微的假设下，建立了协方差估计量的一致性。
• 该方法适用于标准正则化核方法，如支持向量机和最小二乘支持向量回归。
• 该方法可对真实正则化解f_{P,λ₀}进行推断，但无法对无正则化最小化器进行推断，因为在非参数设定下缺乏一致收敛结果。