[论文解读] Computational Limits of Divide-and-Conquer Method

Guang Cheng, Zuofeng Shang|arXiv (Cornell University)|Dec 31, 2015

Advanced Statistical Methods and Models参考文献 7被引用 14

一句话总结

本文为非参数平滑样条估计中的分而治之方法建立了精确的计算极限，揭示了基于所用机器数量的统计最优性相变现象。当机器数量低于由回归函数光滑性决定的阈值时，可实现统计最优性；超过该阈值后，最优性变得不可能——表明样本分割起到了正则化的作用。

ABSTRACT

This theoretical note explores statistical versus computational trade-off to address a basic question in the application of divide-and-conquer method: what is the minimal computational cost in obtaining statistical optimality? In smoothing spline setup, we observe a phase transition phenomenon for the number of deployed machines that ends up being a simple proxy for computing cost. Specifically, a sharp upper bound for the number of machines is established: when the number is below this bound, statistical optimality (in terms of nonparametric estimation or testing) is achievable; otherwise, statistical optimality becomes impossible. These sharp bounds capture intrinsic computational limits of divide-and-conquer method, which turn out to be fully determined by the smoothness of the regression function. As a side remark, we argue that sample spitting may be viewed as a new form of regularization, playing a similar role as smoothing parameter.

研究动机与目标

• 理解分而治之方法中计算成本与统计性能之间的基本权衡。
• 确定在非参数估计中实现统计最优性所需的最低计算成本。
• 确定样本分割（将数据分发到各台机器）是否可被解释为一种正则化机制。
• 建立统计最优性变得不可达的机器数量的精确边界。
• 刻画底层回归函数的光滑性如何决定这些计算极限。

提出的方法

• 在平滑样条估计的背景下分析分而治之方法，以刻画计算与统计精度之间的权衡。
• 推导出在统计最优性可实现的机器数量的严格上界。
• 识别出相变现象：仅当机器数量低于由回归函数光滑性决定的阈值时，统计最优性才成立。
• 通过理论分析表明，计算极限完全由底层函数的光滑性决定。
• 在概念上将样本分割与传统正则化（如平滑参数选择）进行类比。
• 应用非参数统计理论，推导在分布式计算下估计风险与检验风险的边界。

实验结果

研究问题

• RQ1 在分而治之的平滑样条估计中，实现统计最优性所需的最少机器数量是多少？
• RQ2 回归函数的光滑性如何影响分而治之方法的计算极限？
• RQ3 在什么点上，增加机器数量会导致统计最优性的丧失？
• RQ4 样本分割能否在非参数估计中被正式解释为一种正则化形式？
• RQ5 作为机器数量的函数，统计性能的精确相变行为是怎样的？

主要发现

• 在非参数估计中，统计最优性变得不可能的机器数量存在一个精确的上界。
• 该相变的阈值完全由底层回归函数的光滑性决定。
• 当机器数量低于该阈值时，可通过估计风险与检验风险衡量的统计最优性是可实现的。
• 该相变不受样本大小或维度的影响，仅取决于回归函数的光滑性。
• 分而治之中的样本分割可被解释为一种新型正则化形式，类似于调节平滑参数。
• 因此，实现统计最优性的计算成本从根本上受到目标函数光滑性的制约。