[论文解读] Geometric Lower Bounds for Distributed Parameter Estimation under Communication Constraints

Yanjun Han, Ayfer Özgür+1 more|arXiv (Cornell University)|Feb 23, 2018

Statistical Methods and Inference被引用 41

一句话总结

本文提出一种几何方法，用以推导在有限通信预算下分布式参数估计的 minimax 下界，展示通信如何降低有效样本量，以及在不同模型中该降低量如何随 k 变化。

ABSTRACT

We consider parameter estimation in distributed networks, where each sensor in the network observes an independent sample from an underlying distribution and has $k$ bits to communicate its sample to a centralized processor which computes an estimate of a desired parameter. We develop lower bounds for the minimax risk of estimating the underlying parameter for a large class of losses and distributions. Our results show that under mild regularity conditions, the communication constraint reduces the effective sample size by a factor of $d$ when $k$ is small, where $d$ is the dimension of the estimated parameter. Furthermore, this penalty reduces at most exponentially with increasing $k$, which is the case for some models, e.g., estimating high-dimensional distributions. For other models however, we show that the sample size reduction is re-mediated only linearly with increasing $k$, e.g. when some sub-Gaussian structure is available. We apply our results to the distributed setting with product Bernoulli model, multinomial model, Gaussian location models, and logistic regression which recover or strengthen existing results. Our approach significantly deviates from existing approaches for developing information-theoretic lower bounds for communication-efficient estimation. We circumvent the need for strong data processing inequalities used in prior work and develop a geometric approach which builds on a new representation of the communication constraint. This approach allows us to strengthen and generalize existing results with simpler and more transparent proofs.

研究动机与目标

• 在每样本通信限制下激发并形式化分布式统计估计。
• 发展一个几何的、信息论框架，避免使用强数据处理不等式来推导 minimax 下界。
• 描述在不同统计模型中有效样本量如何随每样本通信预算 k 变化而缩放。
• 将该框架应用到具体模型（乘积伯努利、多项分布、高斯定位、逻辑回归）以恢复或增强现有结果。

提出的方法

• 引入一个黑板式（交互式）和一个同时信息传递协议，用以建模通信约束。
• 定义一个正则性/近似正则的参数化族，具有类似立方体的扰动结构 {±1}^d0，以实现 Assouad 型推理。
• 推导两个几何不等式，将 score 函数和 Fisher 信息与在通信约束下的估计风险下界联系起来。
• 获得非渐近 minimax 下界，显示当 k=1 时有效样本量从 n 降至 n/d，并且通常对 k 的依赖至多呈指数级。
• 将通用界推广到若干模型（Bernoulli、multinomial、Gaussian location、logistic regression），并讨论 sub-Gaussian 与更重尾的 score 结构。

实验结果

研究问题

• RQ1 有限的每样本通信预算 k 如何影响分布式参数估计中的 minimax 风险？
• RQ2 在交互式黑板和 SMP 协议下，不同统计模型中估计误差对 n、d、k 的确切依赖关系是什么？
• RQ3 几何方法能否在不依赖强数据处理不等式的前提下给出紧下界？
• RQ4 sub-Gaussian 与更重尾的 score 结构如何影响风险相对于 k 的依赖？
• RQ5 推导边界如何应用到具体模型，如离散/离散分布、Gaussian location 与 logistic regression？

主要发现

• 在温和的正则性假设下，当 k=1 时，通信将有效样本量从 n 降至 n/d。
• 一般而言，对样本量的惩罚至多以 k 的指数级增长。
• 如果 score 函数在每个方向上具有子高斯分布尾部，则对 k 的依赖至多为线性，而非指数级。
• 对于 product Bernoulli、multinomial、Gaussian location 和 logistic regression，界下界能够恢复或加强现有结果。
• 该方法避免强数据处理不等式，并通过几何不等式提供更简单、更加直观的证明。