[论文解读] How Many Machines Can We Use in Parallel Computing for Kernel Ridge Regression?

Meimei Liu, Zuofeng Shang+1 more|arXiv (Cornell University)|May 25, 2018

Statistical Methods and Inference参考文献 24被引用 6

一句话总结

本文通过经验过程理论，建立了在保持非参数估计与假设检验统计最优性前提下，可用于并行计算的机器数量的理论上限。在平滑样条和高斯再生核Hilbert空间（RKHS）等关键情形下，推导出的极小极大最优机器数限制在对数因子范围内不可改进。此外，提出了一种新型Wald型检验统计量，用于分布式非参数检验，具有可证明的最优性。

ABSTRACT

This paper aims to solve a basic problem in distributed statistical inference: how many machines can we use in parallel computing? In kernel ridge regression, we address this question in two important settings: nonparametric estimation and hypothesis testing. Specifically, we find a range for the number of machines under which optimal estimation/testing is achievable. The employed empirical processes method provides a unified framework, that allows us to handle various regression problems (such as thin-plate splines and nonparametric additive regression) under different settings (such as univariate, multivariate and diverging-dimensional designs). It is worth noting that the upper bounds of the number of machines are proven to be un-improvable (upto a logarithmic factor) in two important cases: smoothing spline regression and Gaussian RKHS regression. Our theoretical findings are backed by thorough numerical studies.

研究动机与目标

• 确定在分布式核岭回归中可使用的最大机器数量，而不牺牲统计最优性。
• 将现有关于核岭回归中分而治之方法的研究结果，从一元固定设计推广至多元和随机设计。
• 为分析分布式非参数回归中的估计与检验，建立统一的理论框架。
• 针对分量数量发散的非参数可加模型，建立极小极大最优检验速率，这是新颖的贡献。
• 推导出在最优估计与检验下机器数量 $ s $ 的紧致、不可改进的上界，并通过理论与模拟验证。

提出的方法

• 利用经验过程理论，对分布式核岭回归中局部估计量与全局估计量之间的偏差进行界约束。
• 使用经验过程的集中不等式，量化因数据分割至多台机器而引入的统计误差。
• 应用平滑样条回归中等价核的格林函数，以改进经验过程界，从而提升机器数量的限制。
• 提出一种适用于分布式设置下的非参数检验的Wald型检验统计量，并分析其渐近零分布与功效。
• 通过将问题新颖地约化为高斯序列模型，推导出发散维数可加模型的极小极大检验速率。
• 通过分析统计风险与计算成本之间的权衡，建立机器数量 $ s $ 的不可改进上界。

实验结果

研究问题

• RQ1 在保持极小极大最优估计的前提下，并行核岭回归中可使用的最大机器数 $ s $ 是多少？
• RQ2 在分布式设置中，最优估计与最优检验的 $ s $ 上限有何差异？
• RQ3 在超越一元固定设计的一般非参数设定下，$ s $ 的理论边界能否做到不可改进（至对数因子）？
• RQ4 具有发散分量数的非参数可加模型的极小极大检验速率是多少？
• RQ5 在分布式框架下，所提出的Wald型检验统计量在原假设与备择假设下的渐近行为如何？

主要发现

• 在平滑样条与高斯RKHS回归中，最优估计的机器数 $ s $ 上限在对数因子范围内不可改进，与文献中已知最紧边界一致。
• 对于平滑样条回归，推导出的 $ s $ 上限相比先前工作提升了多项式阶，达到 $ s \asymp N^{\frac{2m}{4m+1}} $，其中 $ m $ 为光滑性参数。
• 最优检验的上界显著小于最优估计的上界，揭示了两类问题在计算极限上的根本差异。
• 针对分量数量发散的非参数可加模型，推导出新的极小极大检验速率 $ d_{N,\lambda,d}^{*} \asymp d^{\frac{2m+1}{2(4m+1)}} N^{-\frac{2m}{4m+1}} $，具有独立研究价值。
• 所提出的Wald型检验统计量在原假设下渐近服从正态分布，且在备择假设下具有非平凡功效，其最优性依赖于机器数量。
• 数值实验验证了理论预测，表明当 $ s $ 超过推导出的上界时，统计性能会下降。