[论文解读] Distributed Estimation and Inference with Statistical Guarantees

Heather Battey, Jianqing FanHan+3 more|arXiv (Cornell University)|Sep 17, 2015

Statistical Methods and Inference参考文献 28被引用 61

一句话总结

本文提出了一种基于似然的统一框架，用于在分布式设置下采用分而治之策略进行估计与推断，通过聚合k个子样本的统计量，实现与全样本方法相当的统计效率。该研究建立了k的理论上限，具体为在线性模型中k=o((s log d)^{-1}√n)，确保信息损失可忽略不计，并保持估计与推断的效率。

ABSTRACT

This paper studies hypothesis testing and parameter estimation in the context of the divide and conquer algorithm. In a unified likelihood based framework, we propose new test statistics and point estimators obtained by aggregating various statistics from $k$ subsamples of size $n/k$, where $n$ is the sample size. In both low dimensional and high dimensional settings, we address the important question of how to choose $k$ as $n$ grows large, providing a theoretical upper bound on $k$ such that the information loss due to the divide and conquer algorithm is negligible. In other words, the resulting estimators have the same inferential efficiencies and estimation rates as a practically infeasible oracle with access to the full sample. Thorough numerical results are provided to back up the theory.

研究动机与目标

• 开发一种在大规模数据场景下具有统计效率且通信优化的分布式估计与假设检验框架。
• 解决一个关键挑战：在分而治之策略中，使用多少个子样本（k）才不会导致显著的统计损失。
• 提供理论保证，使分布式估计量与检验统计量能够匹配计算上不可行的全样本程序的性能。
• 将经典推断方法（Wald检验与Rao得分检验）扩展至高维设置下的分布式计算环境，并通过适当的去偏技术处理 nuisance 参数。
• 通过阈值去偏估计量，推导出分布式线性模型与广义线性模型的极小极大最优估计速率。

提出的方法

• 提出一种统一的基于似然的框架，用于聚合大小为n/k的k个子样本的估计量与检验统计量。
• 通过应用去偏技术，提出通信高效的Wald与Rao得分检验统计量，以处理高维的nuisance参数。
• 采用去偏程序构造估计量，使其在低维与高维设置下均能达到极小极大最优速率。
• 对设计变量与误差变量施加次高斯与次Weibull尾部假设，以控制尾部概率并确保集中性。
• 通过子样本上的并集界与集中不等式，推导出估计误差与检验统计量偏差的高概率界。
• 通过平衡估计误差累积与子样本大小，建立k的理论上限，确保渐近等价于oracle全样本程序。

实验结果

研究问题

• RQ1 在分而治之框架中，最多可使用多少个子样本k，才不会牺牲与全样本oracle相比的统计效率？
• RQ2 在分布式计算下，如何对经典Wald与Rao得分检验进行适应性调整，以实现高维推断并辅以适当的偏差校正？
• RQ3 在分而治之策略下，分布式估计量能否在高维线性与广义线性模型中实现极小极大最优收敛速率？
• RQ4 稀疏性（s）与维度（d）在决定维持统计等价性的子样本数k的可接受范围中起什么作用？
• RQ5 k的选择如何影响聚合估计量与检验统计量的收敛速率与尾部行为？

主要发现

• 在线性模型中，子样本数k的理论上限为k=o((s log d)^{-1}√n)，确保分布式估计量达到与全样本oracle相同的估计速率。
• 在广义线性模型中，上限为k=o(((s∨s₁)log d)^{-1}√n)，其中s₁为信息矩阵逆的稀疏度。
• 阈值化分而治之估计量实现了极小极大最优收敛速率，在线性模型中k=O(√n/(s² log d))。
• 在高维设置下，所提出的去偏检验统计量具有可处理的极限分布，即使存在nuisance参数，也能实现有效的推断。
• 分布式估计量与真实参数之间发生大偏差的概率被控制在ck exp(−cn/k) + ck exp(−c max(d, log n))以内，显示出指数尾部控制。
• 数值结果证实，k的理论边界在实践中具有实际意义，且分布式方法在各种模拟设置下均保持了强大的统计性能。