[论文解读] Distributed Inference for Linear Support Vector Machine

Xiaozhou Wang, Zhuoyi Yang+2 more|arXiv (Cornell University)|Nov 29, 2018

Sparse and Compressive Sensing Techniques参考文献 44被引用 28

一句话总结

该论文提出了一种用于大规模分布式数据环境中线性支持向量机（SVM）的多轮分布式线性型（MDL）估计器。通过在初始SVM估计器的基础上，利用加权最小二乘法进行迭代优化，MDL估计器实现了渐近正态性与最优统计效率——其性能与集中式SVM相当，且无需对机器数量或固定维度提出假设。

ABSTRACT

The growing size of modern data brings many new challenges to existing statistical inference methodologies and theories, and calls for the development of distributed inferential approaches. This paper studies distributed inference for linear support vector machine (SVM) for the binary classification task. Despite a vast literature on SVM, much less is known about the inferential properties of SVM, especially in a distributed setting. In this paper, we propose a multi-round distributed linear-type (MDL) estimator for conducting inference for linear SVM. The proposed estimator is computationally efficient. In particular, it only requires an initial SVM estimator and then successively refines the estimator by solving simple weighted least squares problem. Theoretically, we establish the Bahadur representation of the estimator. Based on the representation, the asymptotic normality is further derived, which shows that the MDL estimator achieves the optimal statistical efficiency, i.e., the same efficiency as the classical linear SVM applying to the entire data set in a single machine setup. Moreover, our asymptotic result avoids the condition on the number of machines or data batches, which is commonly assumed in distributed estimation literature, and allows the case of diverging dimension. We provide simulation studies to demonstrate the performance of the proposed MDL estimator.

研究动机与目标

• 解决在数据被分割到多台机器的分布式大规模数据环境中，线性SVM统计推断的挑战。
• 克服现有分布式推断方法对机器数量或固定维度的限制性假设。
• 开发一种计算高效的算法，使其在统计效率上与应用于完整数据集的集中式SVM估计器保持一致。
• 在维度发散的情况下（即 $ p \to \infty $ 当 $ n \to \infty $）建立分布式估计器的渐近正态性与最优效率。
• 通过在分类问题固有的非光滑、非高斯噪声结构下推导Bahadur表示，为SVM中的分布式推断提供理论基础。

提出的方法

• 提出一种多轮分布式线性型（MDL）估计器，其初始阶段在每个数据分区上计算初始SVM估计器。
• 通过使用本地数据与聚合的梯度信息，迭代求解一系列加权最小二乘问题来优化估计器。
• 利用线性SVM估计器的Bahadur表示，在一般条件下推导其渐近正态性与统计效率。
• 通过分析各数据分区间经验协方差与梯度算子的收敛性，建立MDL估计器的一致性与渐近正态性。
• 利用SVM损失函数的凸性与最小化解的唯一性，确保估计器收敛至真实总体参数。
• 在维度发散且无需固定机器数量的条件下，推导MDL估计器的极限分布。

实验结果

研究问题

• RQ1 是否能够设计一种分布式SVM推断方法，使其在统计效率上与应用于完整数据集的集中式SVM估计器相当？
• RQ2 所提出的方法是否在不施加对数据分区或机器数量的约束下，仍能保持渐近正态性与最优效率？
• RQ3 在维度发散的分布式推断框架中，如何处理SVM中的非光滑合页损失与二值输出结构？
• RQ4 在高维、分布式设置下，多轮分布式估计器的收敛性与效率的理论依据是什么？
• RQ5 线性SVM估计器的Bahadur表示是否可扩展至分布式设置，以在一般条件下建立渐近正态性？

主要发现

• MDL估计器在统计效率上与经典集中式线性SVM估计器相当，即在极限下达到Cramér-Rao下界。
• 在一般条件下，包括维度发散 $ p \to \infty $ 当 $ n \to \infty $ 的情形下，MDL估计器的渐近正态性得以建立，且无需假设 $ p $ 固定。
• 该方法无需对机器数量或数据批次数量做任何假设，因此适用于大规模传感器网络或内存受限系统。
• 估计器计算高效，每轮仅需求解加权最小二乘问题，避免了昂贵的全局优化。
• 线性SVM估计器的Bahadur表示被严格推导，并作为证明渐近正态性与效率的基础。
• 通过模拟研究验证了理论结果，表明该估计器在各种数据划分方案下，具有有限样本中的准确性与鲁棒性。