[论文解读] Lower Bounds for Learning Distributions under Communication Constraints via Fisher Information

Leighton Pate Barnes, Yanjun Han+1 more|arXiv (Cornell University)|Feb 7, 2019

Distributed Sensor Networks and Detection Algorithms参考文献 26被引用 13

一句话总结

该论文通过量化样本的费雪信息，建立了在通信约束下学习高维、非参数及参数分布的极小化最大风险下界。研究揭示，通信限制对估计误差的影响关键取决于得分函数的尾部行为，不同模型（如高斯、离散和非参数密度）中呈现线性与指数衰减的显著差异。

ABSTRACT

We consider the problem of learning high-dimensional, nonparametric and structured (e.g. Gaussian) distributions in distributed networks, where each node in the network observes an independent sample from the underlying distribution and can use $k$ bits to communicate its sample to a central processor. We consider three different models for communication. Under the independent model, each node communicates its sample to a central processor by independently encoding it into $k$ bits. Under the more general sequential or blackboard communication models, nodes can share information interactively but each node is restricted to write at most $k$ bits on the final transcript. We characterize the impact of the communication constraint $k$ on the minimax risk of estimating the underlying distribution under $\ell^2$ loss. We develop minimax lower bounds that apply in a unified way to many common statistical models and reveal that the impact of the communication constraint can be qualitatively different depending on the tail behavior of the score function associated with each model. A key ingredient in our proofs is a geometric characterization of Fisher information from quantized samples.

研究动机与目标

• 表征在分布式网络中每个节点具有 $k$-比特通信约束时，估计高维、非参数及结构化分布的极小化最大风险。
• 分析通信约束如何影响不同统计模型（包括高斯、离散和非参数密度）下的估计性能。
• 通过在独立、序列和黑板通信模型中利用费雪信息几何，统一分析通信约束学习。
• 基于不同统计模型中得分函数尾部行为，识别估计误差衰减的定性差异。

提出的方法

• 从量化样本中推导费雪信息的几何表征，将通信约束与统计估计极限联系起来。
• 使用 van Trees 不等式界定量化设置下的费雪信息，将其与得分函数的尾部行为关联。
• 应用两个关键假设：次高斯尾部界（$ \norm{\braket{u,S_\theta(X)}}_{\Psi_p}^2 \leq I_0$）和有限方差（$\mathsf{Var}(\braket{u,S_\theta(X)}) \leq I_0$）对得分函数进行约束。
• 通过分析重加权密度下的条件期望 $\mathbb{E}_{j,y}[S_\theta(X_j)]$，建立对摘要统计量 $Y$ 的费雪信息的上界。
• 使用 Jensen 不等式和凹包络逼近法，对所有摘要统计量上的平方费雪信息项之和进行上界估计。
• 将所得边界应用于三种通信模型：独立、序列和黑板模型，表明结果在所有协议下均一致成立。

实验结果

研究问题

• RQ1 每个节点的 $k$-比特通信约束如何影响高维分布估计的极小化最大风险？
• RQ2 得分函数尾部行为在决定通信约束下分布学习基本极限中起什么作用？
• RQ3 为何估计误差衰减速率在不同模型间存在差异——例如，高斯模型中为 $k$ 的线性衰减，而离散分布中为指数衰减？
• RQ4 能否通过量化样本的费雪信息实现几何表征，从而在不同模型间导出统一的下界？
• RQ5 不同的通信协议（独立、序列、黑板）在相同 $k$-比特约束下如何影响可实现的极小化最大风险？

主要发现

• 在次高斯得分函数尾部下，$k$-比特通信约束下分布估计的极小化最大风险按 $\Omega(nk^{-2/p})$ 速率增长，其中 $p$ 控制衰减速率。
• 对于有限方差得分函数，风险按 $\Omega(nk^{-1})$ 增长，揭示了在最坏情况下与 $k$ 的线性依赖关系。
• 本文证明，通信约束对估计误差的影响因模型而异：高斯模型中呈线性衰减，离散模型中呈指数衰减。
• 在次高斯得分函数尾部下，摘要统计量 $Y$ 的费雪信息上界为 $O(nk^{2/p})$；在有限方差下为 $O(nk)$，这直接决定了极小化最大风险。
• 得分函数尾部行为的几何结构决定了通信成本与估计精度之间的根本权衡。
• 所推导的下界在多种模型和通信协议（包括独立、序列和黑板模型）下均具有紧致性，展现出广泛的适用性。