[论文解读] Does data interpolation contradict statistical optimality?

Mikhail Belkin, Alexander Rakhlin+1 more|arXiv (Cornell University)|Jun 25, 2018

Advanced Statistical Methods and Models参考文献 10被引用 76

一句话总结

本文表明，在 Hölder 平滑度下，插值估计量在非参数回归和平方损失预测中可以达到极小极大（minimax）最优率，这挑战了插值会损害统计性能的观点。

ABSTRACT

We show that learning methods interpolating the training data can achieve optimal rates for the problems of nonparametric regression and prediction with square loss.

研究动机与目标

• 激发一个难题：在现代学习环境中插值也能获得良好的样本外性能。
• 证明插值估计量可以达到非参数回归的极小极大最优速率。
• 建立一类奇异核的Nadaraya-Watson估计量的有限样本风险界。
• 在标准假设下，表明插值并不排除超额损失的最优性。

提出的方法

• 使用奇异核 K(u) = ||u||^{-a} I{||u|| ≤ 1} 及变体来构造一个插值估计量 f_n。
• 分析带带宽 h 的Nadaraya-Watson估计量，并在 Hölder 光滑性 f ∈ Σ(β,L) 下推导 f_n(X) 的风险界。
• 给出逐点和积分均方误差界，并证明在 β ∈ (0,2] 下它们达到极小极大速率 n^{-2β/(2β+d)}。
• 将误差分解为偏差与方差，并在假设 (A1)-(A2) 与密度正则性下给出每项的界。
• 通过选择 h = n^{-1/(2β+d)} 来平衡偏差-方差项，以获得主要速率。
• 讨论扩展到其他奇异核以及在回归函数落在 Hölder 类中的欠拟合模型情形。

实验结果

研究问题

• RQ1 在 Hölder 光滑性下，插值估计量是否能够实现非参数回归的极小极大最优速率？
• RQ2 当回归函数属于 Hölder 类时，插值规则在平方损失下的预测超额损失是否达到最优？
• RQ3 关于核、带宽和密度应满足哪些条件，才能确保插值估计量的最优速率？
• RQ4 奇异核插值量的偏差和方差如何表现，应如何平衡？

主要发现

• 在 f ∈ Σ(β,L) 且 β ∈ (0,2] 的条件下，插值估计量可以在 L2(P_X) 中估计 f，达到经典的 minimax 速率 n^{-2β/(2β+d)}。
• 使用合适带宽的奇异核得到的有限样本风险界与 β ∈ (0,2] 的 minimax 速率一致。
• 对于 β ∈ (1,2]，在密度满足额外假设 p ∈ Σ(β−1,L_p) 且在其支撑区间有下界非零的前提下，该速率成立。
• 在给定条件下，积分均方误差 E||f_n − f||^2_{L2(P_X)} 有界于 C n^{-2β/(2β+d)}。
• 插值估计量 f_n 是不正规的（其光滑性随 n 而变化），但在模型良好设定且 f ∈ Σ(β,L) 时，它实现了最优的超额损失。
• 数值示例表明，插值核能够在局部产生锐利拟合，同时与最优速率兼容。