[论文解读] An asymptotic analysis of distributed nonparametric methods

Botond Szabó, Harry van Zanten|arXiv (Cornell University)|Nov 8, 2017

Gaussian Processes and Bayesian Inference参考文献 16被引用 23

一句话总结

本文针对信号-高斯白噪声模型中的分布式非参数方法进行了渐近分析，比较了不同分布式估计器在偏差-方差权衡处理上的表现。结果表明，简单平均会导致次优收敛速率，且在分布式设置下实现对光滑性的自动适应在本质上比经典非参数模型更具挑战性。

ABSTRACT

We investigate and compare the fundamental performance of several distributed learning methods that have been proposed recently. We do this in the context of a distributed version of the classical signal-in-Gaussian-white-noise model, which serves as a benchmark model for studying performance in this setting. The results show how the design and tuning of a distributed method can have great impact on convergence rates and validity of uncertainty quantification. Moreover, we highlight the difficulty of designing nonparametric distributed procedures that automatically adapt to smoothness.

研究动机与目标

• 建立一个理论框架，通过标准的分布式信号-白噪声模型比较分布式非参数学习方法。
• 研究分布式方法中的设计选择如何影响收敛速率和不确定性量化。
• 检验在分布式设置下是否能够实现对信号未知光滑性的自动适应。
• 识别在分布式非参数估计中，缺乏对信号正则性先验知识时调整调优参数的根本限制。

提出的方法

• 使用经典非参数信号-高斯白噪声模型的分布式版本作为理论分析的基准。
• 分析在每台机器上计算的局部估计器及其通过平均或后验组合的聚合方式。
• 应用Wasserstein中位数理论，将全局后验分布表征为高斯分布的乘积。
• 采用Riemann和近似与集中不等式（如Chebyshev）来界定风险表达式中随机项的上界。
• 通过局部与全局后验之间的2-Wasserstein距离以及估计误差的L2范数比较性能。
• 考虑固定与数据驱动的超参数调优，特别关注基于最大边际似然的经验贝叶斯方法。

实验结果

研究问题

• RQ1 不同分布式非参数方法在偏差-方差权衡方面的渐近表现如何？
• RQ2 对局部估计器进行简单平均对分布式非参数模型中全局收敛速率有何影响？
• RQ3 在分布式设置下能否像经典情形一样实现对未知光滑性的自动适应？
• RQ4 为何标准的基于最大边际似然的自适应方法在分布式设置中失败，尽管其在非分布式情形下表现成功？
• RQ5 设计自适应分布式非参数程序时存在哪些根本性的理论限制？

主要发现

• 由于过度偏差，特别是当机器数量相对于样本量较大时，对局部估计器进行简单平均会导致次优收敛速率。
• 依赖已知光滑性参数（如β）的分布式方法可实现最优收敛率，但这些方法需要事先知道信号的正则性。
• 在某些条件下，全局后验均值的收敛速率阶为(n/√m)^{-β/(1+2β)}，慢于最优的非分布式收敛速率。
• 全局后验的散布（方差）比估计误差的阶更小，表明不确定性量化可靠性低于估计精度。
• 通过最大边际似然实现的分布式自适应无法达到最优收敛率，表明在缺乏光滑性信息时自动调优存在根本性挑战。
• 当β ≤ α ≤ β + 1/2时，估计误差被限制在m^{-2α/(1+2α)} log m以内，表明若不调整调优参数，性能会随m增加而下降。