[论文解读] Distributed Simulation and Distributed Inference

Jayadev Acharya, Clément L. Canonne+1 more|arXiv (Cornell University)|Apr 19, 2018

Markov Chains and Monte Carlo Methods参考文献 51被引用 15

一句话总结

本文研究在通信约束下的分布式推断，其中 n 个参与者各自持有来自未知 k 元分布的一个样本，并向裁判通信 ℓ 比特。本文提出一种基于拒绝采样的模拟-推断策略，通过 O(k/2^ℓ) 个期望样本模拟来自未知分布的样本，实现学习和同质性检验的最优样本复杂度。对于同质性检验，提出一种公共随机性协议，样本复杂度为 O(k/√(2^ℓ)/ε²)，该复杂度在常数因子范围内最优。

ABSTRACT

Independent samples from an unknown probability distribution $\bf p$ on a domain of size $k$ are distributed across $n$ players, with each player holding one sample. Each player can communicate $\ell$ bits to a central referee in a simultaneous message passing model of communication to help the referee infer a property of the unknown $\bf p$. What is the least number of players for inference required in the communication-starved setting of $\ell

研究动机与目标

• 确定在每个参与者仅通信 ℓ < log k 比特时，执行分布式推断所需的最少参与者数量。
• 形式化并分析在通信受限环境下的模拟-推断策略。
• 探究分布式模拟是否为高效分布式推断所必需。
• 开发针对同质性检验的最优公共随机性协议，突破私有随机性协议的样本复杂度瓶颈。
• 通过分析通信约束导致的 χ² 距离收缩，建立样本复杂度的下界。

提出的方法

• 提出一种基于拉斯维加斯拒绝采样的协议，在 ℓ < log k 时，通过 O(k/2^ℓ) 个期望样本模拟来自未知分布的一个样本。
• 应用模拟-推断策略：模拟足够多的样本以运行标准推断算法。
• 利用共享随机性，通过公共随机性协议实现同质性检验的最优样本复杂度。
• 采用 Rademacher 向量二次型的矩生成函数的次高斯界，分析 χ² 距离的收缩。
• 应用运输成本不等式和马尔顿运输引理，界定 Rademacher 向量与对称矩阵内积的矩生成函数。
• 通过分析通信诱导矩阵的弗罗贝尼乌斯范数，界定模拟分布与均匀分布之间 χ² 距离的上界。

实验结果

研究问题

• RQ1 当每个参与者仅通信 ℓ < log k 比特时，执行分布式推断所需的最少参与者数量是多少？
• RQ2 当 ℓ < log k 时，能否实现单个样本的完美模拟？若不能，最优模拟效率是多少？
• RQ3 在通信约束下，模拟-推断策略是否对分布式学习和同质性检验最优？
• RQ4 公共随机性能否在同质性检验中突破私有随机性协议的样本复杂度瓶颈？
• RQ5 在公共随机性设置下，同质性检验的样本复杂度的根本极限是什么？

主要发现

• 当 ℓ < log k 时，无法实现单个样本的完美模拟，但拉斯维加斯协议可通过 O(k/2^ℓ) 个期望样本模拟一个样本。
• 模拟-推断策略在总变差距离下以 ε 精度学习未知分布时，实现了 Θ(k²/2^ℓε²) 的最优样本复杂度。
• 对于同质性检验，私有随机性协议需要 O(k³/²/2^ℓε²) 个样本，这是无额外资源协议的固有复杂度。
• 公共随机性协议在同质性检验中实现 O(k/√(2^ℓ)ε²) 个样本，该复杂度在常数因子范围内最优。
• 由于通信约束，模拟分布与均匀分布之间的 χ² 距离发生收缩，该收缩通过二次型的次高斯尾部界得到界定。
• 下界证明依赖于对通信诱导矩阵的弗罗贝尼乌斯范数的界定，并结合运输成本不等式，推导出紧致的样本复杂度极限。