[论文解读] Distributed Bootstrap for Simultaneous Inference Under High Dimensionality

Yang Yu, Shih-Kang Chao+1 more|arXiv (Cornell University)|Feb 19, 2021

Statistical Methods and Inference参考文献 35被引用 7

一句话总结

该论文提出了一种用于高维推断的分布式自助法，通过通信高效的去偏Lasso构建跨多台机器的ℓ∞-范数置信区域。它建立了通信轮次的对数下界τ_min，以确保统计精度，其中τ_min随工作节点数量和内在维度的增加而缓慢增长，同时几乎不受名义维度的影响。

ABSTRACT

We propose a distributed bootstrap method for simultaneous inference on high-dimensional massive data that are stored and processed with many machines. The method produces an $\ell_\infty$-norm confidence region based on a communication-efficient de-biased lasso, and we propose an efficient cross-validation approach to tune the method at every iteration. We theoretically prove a lower bound on the number of communication rounds $τ_{\min}$ that warrants the statistical accuracy and efficiency. Furthermore, $τ_{\min}$ only increases logarithmically with the number of workers and the intrinsic dimensionality, while nearly invariant to the nominal dimensionality. We test our theory by extensive simulation studies, and a variable screening task on a semi-synthetic dataset based on the US Airline On-Time Performance dataset. The code to reproduce the numerical results is available at GitHub: https://github.com/skchao74/Distributed-bootstrap.

研究动机与目标

• 在数据分布在多台机器上的高维场景中，实现准确的联合推断。
• 在保持统计效率的同时，减少分布式统计推断中的通信开销。
• 开发一种适用于分布式计算的通信高效去偏Lasso估计器。
• 推导出实现统计精度所必需的通信轮次数τ_min的理论下界。
• 通过模拟实验和在美国航空公司准点性能数据上的真实变量筛选任务，验证该方法。

提出的方法

• 该方法采用一种分布式自助框架，通过通信高效的协议在各工作节点间聚合去偏Lasso估计。
• 通过聚合的去偏估计器构建高维参数向量的ℓ∞-范数置信区域。
• 引入一种新颖的交叉验证方法，用于在每次迭代中调节调优参数，从而提升有限样本性能。
• 该方法利用稀疏性和去偏性，校正高维回归中的选择偏差。
• 理论分析推导出通信轮次数的下界τ_min，表明其对工作节点数量和内在维度呈对数依赖关系。
• 该方法设计为可扩展且鲁棒，每轮通信量极少，适用于大规模数据。

实验结果

研究问题

• RQ1 在分布式高维推断中，实现统计精度所需的最少通信轮次数是多少？
• RQ2 如何高效地在分布式机器之间聚合去偏Lasso估计器，以保持推断的有效性？
• RQ3 所需通信量在多大程度上随工作节点数量和内在维度而增长？
• RQ4 在高维、分布式数据设置下，该方法能否保持高统计功效和置信覆盖概率？
• RQ5 与固定或启发式选择相比，所提出的交叉验证调优策略在性能上有哪些改进？

主要发现

• 通信轮次数的理论下界τ_min随工作节点数量和内在维度的增加呈对数增长，确保了统计效率。
• τ_min几乎不受名义维度的影响，使得该方法在协变量数量极大时仍具可扩展性。
• 模拟研究证实，该方法在各种高维设置下均能实现ℓ∞-范数置信区域的准确覆盖概率。
• 在美国航空公司准点性能数据集上的变量筛选任务表明，该方法在半合成数据上具有实际应用价值和可扩展性。
• 所提出的交叉验证调优方法提升了有限样本性能，并降低了对初始参数选择的敏感性。
• 该方法在不牺牲统计精度的前提下实现了通信效率，理论和实验结果均验证了这一点。