[论文解读] Debiased distributed learning for sparse partial linear models in high dimensions

Shaogao Lv, Heng Lian|arXiv (Cornell University)|Aug 18, 2017

Sparse and Compressive Sensing Techniques参考文献 43被引用 12

一句话总结

该论文提出了一种通信高效、去偏的分布式学习算法，用于高维稀疏部分线性模型，采用分而治之框架。通过对每个子样本上的双正则化最小二乘法应用去偏估计，该方法即使在高维和非参数设定下（具有稀疏性和光滑性约束），也能实现全局估计量的最优参数收敛速率。

ABSTRACT

Although various distributed machine learning schemes have been proposed recently for pure linear models and fully nonparametric models, little attention has been paid on distributed optimization for semi-paramemetric models with multiple-level structures (e.g. sparsity, linearity and nonlinearity). To address these issues, the current paper proposes a new communication-efficient distributed learning algorithm for partially sparse linear models with an increasing number of features. The proposed method is based on the classical divide and conquer strategy for handing big data and each sub-method defined on each subsample consists of a debiased estimation of the double-regularized least squares approach. With the proposed method, we theoretically prove that our global parametric estimator can achieve optimal parametric rate in our semi-parametric model given an appropriate partition on the total data. Specially, the choice of data partition relies on the underlying smoothness of the nonparametric component, but it is adaptive to the sparsity parameter. Even under the non-distributed setting, we develop a new and easily-read proof for optimal estimation of the parametric error in high dimensional partial linear model. Finally, several simulated experiments are implemented to indicate comparable empirical performance of our debiased technique under the distributed setting.

研究动机与目标

• 为解决高维设定下结合稀疏性、线性和非线性特性的半参数模型缺乏分布式学习方法的问题。
• 开发一种通信高效的分布式算法，在多台机器间数据分区的情况下保持统计最优性。
• 建立高维稀疏部分线性模型中全局估计量收敛速率的理论保证。
• 为高维部分线性模型在非分布式设定下的最优参数估计提供一种新且简化的证明。
• 通过多种数据分区方案的模拟验证去偏分布式方法的实证性能。

提出的方法

• 该方法采用分而治之策略，将完整数据集划分为 m 个子样本并分发到 m 台机器上。
• 每台本地机器基于带 Lasso 惩罚的参数分量和再生核希尔伯特空间（RKHS）范数的非参数分量的双正则化最小二乘目标函数，计算一个去偏估计量。
• 通过平均去偏的本地估计量形成全局估计量，从而减少正则化引入的偏差。
• 理论分析依赖于集中不等式和高斯过程界，以控制经验过程偏差并确保一致收敛。
• 该方法能适应非参数分量的潜在光滑性，同时对参数分量的稀疏性水平具有鲁棒性。
• 开发了一种改进的证明技术，以在高维设定下（即使子样本中 n < p）建立最优参数收敛速率。

实验结果

研究问题

• RQ1 分布式学习算法是否能在高维稀疏部分线性模型中实现最优参数收敛速率？
• RQ2 当非参数分量具有不同光滑性时，数据分区的选择如何影响估计精度？
• RQ3 在具有稀疏性的高维设定下，去偏对分布式估计量性能有何影响？
• RQ4 能否为具有多个结构分量（稀疏性、线性、非线性）的半参数模型中的分布式估计建立统一的理论框架？
• RQ5 与现有分布式或非分布式估计量相比，所提出方法在估计精度和通信效率方面的实证表现如何？

主要发现

• 在适当的数据显示划分下，全局参数估计量实现了最优参数收敛速率，即使在每个子样本中特征数 p 超过样本量 n 的情况下也成立。
• 该方法对线性分量的稀疏参数具有自适应性，无论真实稀疏水平如何，均能保持最优性能。
• 理论分析证实，去偏平均过程能有效消除正则化引入的偏差，从而实现渐近正态估计。
• 数据分区的选择依赖于非参数分量的光滑性，但该方法对稀疏性变化保持鲁棒。
• 模拟结果表明，所提出方法在分布式设定下实现了与基线方法相当或更优的实证性能。
• 为高维部分线性模型中的最优估计提供了一种新且简化的证明，提升了现有理论结果的清晰度和可及性。