[论文解读] Consistency of Interpolation with Laplace Kernels is a High-Dimensional Phenomenon

Alexander Rakhlin, Xiyu Zhai|arXiv (Cornell University)|Dec 28, 2018

Model Reduction and Neural Networks被引用 7

一句话总结

该论文表明，在任意固定的输入维度 $d$ 下，无论核带宽如何选择（甚至包括数据依赖的带宽选择），在再生核希尔伯特空间（RKHS）中使用拉普拉斯核进行最小范数插值都是不一致的。关键结果表明，随着样本量增加，估计误差以高概率与零保持有界距离，从而证明一致性仅在 $d acksimeq n$ 的高维情形下成立。这解释了为何在高维数据集中插值能泛化良好，但在低维数据集中则失败。

ABSTRACT

We show that minimum-norm interpolation in the Reproducing Kernel Hilbert Space corresponding to the Laplace kernel is not consistent if input dimension is constant. The lower bound holds for any choice of kernel bandwidth, even if selected based on data. The result supports the empirical observation that minimum-norm interpolation (that is, exact fit to training data) in RKHS generalizes well for some high-dimensional datasets, but not for low-dimensional ones.

研究动机与目标

• 研究在输入空间维度固定时，拉普拉斯核在RKHS中的最小范数插值是否具有一致性。
• 确定核曲率或几何结构带来的隐式正则化是否能在固定 $d$ 下实现泛化。
• 为任意数据依赖的核带宽 $c$ 选择建立估计误差的下界。
• 阐明输入维度 $d$ 在插值方法中实现泛化的根本作用。

提出的方法

• 分析与拉普拉斯核 $K_c(x,x') = c^d e^{-c\|x-x'\|}$ 相关的RKHS中的最小范数插值函数 $\widehat{f}_c$。
• 基于局部化突起函数，并将输入域划分为围绕训练点的不相交球，构造下界。
• 通过RKHS范数与Sobolev型范数之间的范数等价性，推导出 $L^2$ 估计误差 $\mathbb{E}_X[(\widehat{f}_c(X) - f_0(X))^2]$ 的下界。
• 应用概率论论证，表明以高概率，训练点之间的最小距离 $r_i$ 满足 $\sum_i r_i^d \leq O_d(1)$，从而实现误差量化。
• 构造一个具有受控RKHS范数的替代插值函数 $g_\alpha$，以对 $\|\widehat{f}_c\|_{\mathcal{H}_c}$ 进行上界估计，若误差较小则导致矛盾。
• 运用调和分析与几何概率中的技术工具，包括光滑截断函数 $\eta$ 和最近邻距离的矩量界。

实验结果

研究问题

• RQ1 当输入维度 $d$ 固定且有限时，拉普拉斯核的最小范数插值是否具有一致性？
• RQ2 是否任何数据依赖的核带宽 $c$ 选择都能在低维设置下恢复一致性？
• RQ3 核岭回归中隐式正则化机制是否可推广至非光滑核（如拉普拉斯核）？
• RQ4 高维性在实现插值估计器泛化中的根本作用是什么？

主要发现

• 对于任意固定的奇数维度 $d$，最小范数插值函数 $\widehat{f}_c$ 的估计误差满足 $\mathbb{E}_X[(\widehat{f}_c(X) - f_0(X))^2] \geq \Omega_d(1)$，其概率至少为 $1 - O(1/\sqrt{n})$。
• 该下界对所有 $c > 0$ 的核带宽选择（包括数据依赖选择）均成立，证明在固定 $d$ 下不一致性不可避免。
• 该结果表明，使用拉普拉斯核的插值方法的泛化能力本质上是高维现象，而非低维现象。
• 证明依赖于通过局部化函数构造与体积论证推导出的RKHS范数的几何下界。
• 通过使用光滑突起函数插值构造，推导出 $\|\widehat{f}_c\|_{\mathcal{H}_c}$ 的上界，表明最小范数并不太大，但仍不足以克服下界。
• 分析确认，一致性的失败并非源于带宽选择不佳，而是低维几何结构的内在属性。