[论文解读] Distributed Gaussian Mean Estimation under Communication Constraints: Optimal Rates and Communication-Efficient Algorithms

Tianxi Cai, Hongji Wei|arXiv (Cornell University)|Jan 24, 2020

Distributed Sensor Networks and Detection Algorithms参考文献 12被引用 16

一句话总结

本文在单变量和多变量设置下，针对通信约束下的分布式高斯均值估计问题，建立了极小极大率。提出了一种两阶段框架——定位与精炼，实现了通信高效且统计最优的估计器；单变量情况下的速率仅依赖于总通信预算，而多变量情况下的速率则依赖于各机器间的预算分配。

ABSTRACT

We study distributed estimation of a Gaussian mean under communication constraints in a decision theoretical framework. Minimax rates of convergence, which characterize the tradeoff between the communication costs and statistical accuracy, are established in both the univariate and multivariate settings. Communication-efficient and statistically optimal procedures are developed. In the univariate case, the optimal rate depends only on the total communication budget, so long as each local machine has at least one bit. However, in the multivariate case, the minimax rate depends on the specific allocations of the communication budgets among the local machines. Although optimal estimation of a Gaussian mean is relatively simple in the conventional setting, it is quite involved under the communication constraints, both in terms of the optimal procedure design and lower bound argument. The techniques developed in this paper can be of independent interest. An essential step is the decomposition of the minimax estimation problem into two stages, localization and refinement. This critical decomposition provides a framework for both the lower bound analysis and optimal procedure design.

研究动机与目标

• 刻画分布式高斯均值估计中通信成本与统计精度之间的基本权衡。
• 建立极小极大下界，量化在通信约束下的最优估计误差。
• 为单变量和多变量高斯均值设置设计通信高效且统计最优的估计程序。
• 分析在多变量情况下，各本地机器间预算分配如何影响估计性能。
• 提出一种两阶段分解框架——定位与精炼，用于下界分析及最优估计器构造。

提出的方法

• 提出两阶段框架：首先通过粗粒度通信定位参数，然后通过高精度反馈进行精炼。
• 使用信息论工具，包括互信息和条件熵，推导极小极大下界。
• 应用强数据处理不等式，限制通信信道中的信息损失。
• 利用引理8，将大条件熵与整数值随机变量之间的大 $L_2$ 估计误差关联起来。
• 通过在离散网格上构造均匀先验，利用互信息约束推导下界。
• 通过分析两种情形推导最优速率：当通信预算相对于精度较小时（$B < \log(1/\sigma)+2$）与较大时（$B \geq \log(1/\sigma)+m$）。

实验结果

研究问题

• RQ1 在总通信预算下，分布式高斯均值估计的最优收敛速率是什么？
• RQ2 在多变量情况下，极小极大风险如何依赖于各本地机器间通信比特的分配？
• RQ3 两阶段程序——先定位后精炼——是否能实现极小极大最优速率？
• RQ4 在分布式设置中，通信成本与估计精度之间的基本权衡是什么？
• RQ5 信息论工具（如互信息和熵分解）如何实现紧致的下界？

主要发现

• 在单变量情况下，极小极大速率仅依赖于总通信预算 $B$，前提是每个本地机器至少有一比特。
• 在多变量情况下，极小极大速率依赖于各机器间通信预算的具体分配，而不仅仅是总量。
• 单变量设置下的最优速率在小 $\sigma$ 时为 $\asymp \frac{\sigma^2}{B - \log(1/\sigma)}$，显示出精度与通信成本之间的权衡。
• 当通信预算较小时（$B < \log(1/\sigma) + 2$），下界呈 $\Omega(2^{-2B})$，表明估计误差随通信量增加呈指数衰减。
• 当 $B \geq \log(1/\sigma) + m$ 时，极小极大风险的下界为 $\asymp \sigma^2/m \wedge 1$，与集中式极小极大率一致。
• 所提出的两阶段程序实现了极小极大最优速率，表明定位与精炼在实现最优性能方面既必要又充分。