[论文解读] Lower Bound for High-Dimensional Statistical Learning Problem via Direct-Sum Theorem.

Ankit Garg, Tengyu Ma+1 more|arXiv (Cornell University)|May 7, 2014

Machine Learning and Algorithms参考文献 10被引用 2

一句话总结

本文建立了在高维正态分布均值分布式估计中通信成本的下限，表明在极小化最大风险（minimax）设置下，通信量必须随维度 d 线性增长。该结果源于一个直接求和定理（direct-sum theorem），证明每个维度必须单独处理，因此维度成为高维学习中通信效率的根本障碍。

ABSTRACT

We explore the connection between dimensionality and communication cost in distributed learning problems. Specifically we study the problem of estimating the mean ~ θ of an unknown d dimensional normal distribution in the distributed setting. In this problem, the samples from the unknown distribution are distributed among m different machines. The goal is to estimate the mean ~ θ at the optimal minimax rate while communicating as few bits as possible. We show that in this simple setting, the communication cost scales linearly in the number of dimensions i.e. one needs to deal with different dimensions individually.

研究动机与目标

• 理解分布式统计学习中维度与通信成本之间的基本权衡。
• 分析在 m 台机器上估计 d 维正态分布均值所需的最小通信量。
• 在极小化最大风险最优性下，建立通信成本的理论下限。
• 证明维度导致每个坐标必须单独处理，从而限制通信效率。

提出的方法

• 将通信复杂性中的直接求和定理应用于统计估计问题。
• 将分布式学习设置建模为 m 台机器分别持有 d 维正态分布的样本子集。
• 在通信约束下分析均值估计的极小化最大风险。
• 通过证明每个维度必须独立估计，推导出通信成本的下限。
• 使用信息论论证，证明通信成本随 d 线性增长。
• 证明不存在任何协议能在 d 的次线性通信下实现最优极小化最大风险。

实验结果

研究问题

• RQ1 在分布式设置下，估计 d 维正态分布均值所需的最小通信量是多少？
• RQ2 在保持极小化最大风险最优性的同时，通信成本能否在维度 d 上实现次线性增长？
• RQ3 在分布式学习中，是否存在压缩高维数据的根本障碍？
• RQ4 直接求和定理是否意味着在分布式估计中每个维度必须单独处理？
• RQ5 维度如何影响分布式统计学习协议的效率？

主要发现

• 即使在最优极小化最大风险下，分布式均值估计的通信成本仍随维度 d 线性增长。
• 不存在任何协议能在通信量次线性于 d 的前提下实现极小化最大风险。
• 直接求和定理意味着在分布式设置中每个维度必须独立处理。
• 该下限不依赖于机器数量 m，强调维度是主导因素。
• 该结果揭示了在分布式学习中压缩高维数据的根本限制。
• 分析确认维度对统计学习中的通信效率施加了硬性约束。