[论文解读] Communication-efficient Distributed Sparse Linear Discriminant Analysis

Lu Tian, Quanquan Gu|arXiv (Cornell University)|Oct 15, 2016

Sparse and Compressive Sensing Techniques参考文献 27被引用 15

一句话总结

该论文提出了一种通信高效的分布式稀疏线性判别分析（LDA）方法，将高维数据分布在 m 台机器上，分别计算局部稀疏 LDA 估计器，并将它们聚合为全局估计器。当 m ≲ √(N / log d) / max(s, s′) 时，该方法在 ℓ2 范数下的统计速率与集中式估计一致——为 O(√(s log d / N))，且在比集中式方法更宽松的条件下保证了模型选择一致性。

ABSTRACT

We propose a communication-efficient distributed estimation method for sparse linear discriminant analysis (LDA) in the high dimensional regime. Our method distributes the data of size $N$ into $m$ machines, and estimates a local sparse LDA estimator on each machine using the data subset of size $N/m$. After the distributed estimation, our method aggregates the debiased local estimators from $m$ machines, and sparsifies the aggregated estimator. We show that the aggregated estimator attains the same statistical rate as the centralized estimation method, as long as the number of machines $m$ is chosen appropriately. Moreover, we prove that our method can attain the model selection consistency under a milder condition than the centralized method. Experiments on both synthetic and real datasets corroborate our theory.

研究动机与目标

• 通过实现高效、可扩展的稀疏 LDA 估计，解决分布式机器学习中高维数据的挑战。
• 在保持与集中式方法相当的统计性能的同时，降低分布式学习中的通信成本。
• 在弱于集中式方法的条件下，实现稀疏 LDA 估计器的模型选择一致性。
• 在高维、分布式设置下，为估计误差和支撑集恢复提供理论保证。

提出的方法

• 将总共 N 个样本分布在 m 台机器上，每台机器处理 N/m 个样本，通过 ℓ1 约束优化计算局部稀疏 LDA 估计器。
• 在每台工作节点上使用去偏估计器以减少偏差，提升估计精度。
• 在主节点通过平均方式聚合局部估计器，然后对聚合后的估计器进行稀疏化，以恢复真实的稀疏结构。
• 采用单轮通信协议：每台工作节点仅向主节点发送一个向量（而非原始数据），最大限度降低通信开销。
• 理论分析依赖于次高斯和次指数浓度不等式，以界定 ℓ2 及其他范数下的估计误差。
• 利用样本协方差矩阵的限制特征值条件，确保在高维渐近下的一致性。

实验结果

研究问题

• RQ1 是否能够设计一种分布式稀疏 LDA 方法，在最小化通信成本的同时，达到与集中式估计相同的统计速率？
• RQ2 当机器数量 m 满足何种条件时，分布式估计器在 ℓ2 范数下仍能保持最优速率 O(√(s log d / N))？
• RQ3 所提方法是否在弱于集中式稀疏 LDA 所需假设的条件下实现模型选择一致性？
• RQ4 与多轮通信方案相比，单轮通信协议在统计性能方面的通信效率如何？
• RQ5 数据划分方式对高维稀疏 LDA 中估计误差和支撑集恢复的影响是什么？

主要发现

• 所提出的分布式估计器在 ℓ2 范数下的估计误差界为 O(√(s log d / N) + max(s, s′)m√(s log d / N))，当 m ≲ √(N / log d) / max(s, s′) 时，与集中式速率一致。
• 在条件 minj |β∗j| ≳ √(log d / N) 下，该方法实现了模型选择一致性，该条件弱于集中式方法所需条件。
• 单轮通信协议确保了通信效率，每台工作节点仅需传输一个向量。
• 理论分析表明，只要机器数量不过大（相对于样本量和稀疏度），聚合估计器的统计速率与集中式估计器保持一致。
• 该方法在高维渐近下具有鲁棒性，误差界通过次高斯和次指数浓度不等式推导得出。
• 在样本协方差矩阵的限制特征值条件下，理论保证得以建立，该条件在 n ≳ s log d 时以高概率成立。