[论文解读] A debiased distributed estimation for sparse partially linear models in diverging dimensions

Shaogao Lv, Heng Lian|arXiv (Cornell University)|Aug 18, 2017

Distributed Sensor Networks and Detection Algorithms被引用 4

一句话总结

本文提出了一种针对发散维度的稀疏部分线性模型的通信高效分布式学习算法，采用子样本上的去偏双正则化最小二乘法。在适当的数据显示划分下，即使在具有稀疏性和非线性的高维设置中，该方法仍能达到最优参数估计速率。

ABSTRACT

Although various distributed machine learning schemes have been proposed recently for pure linear models and fully nonparametric models, little attention has been paid on distributed optimization for semi-paramemetric models with multiple-level structures (e.g. sparsity, linearity and nonlinearity). To address these issues, the current paper proposes a new communication-efficient distributed learning algorithm for partially sparse linear models with an increasing number of features. The proposed method is based on the classical divide and conquer strategy for handing big data and each sub-method defined on each subsample consists of a debiased estimation of the double-regularized least squares approach. With the proposed method, we theoretically prove that our global parametric estimator can achieve optimal parametric rate in our semi-parametric model given an appropriate partition on the total data. Specially, the choice of data partition relies on the underlying smoothness of the nonparametric component, but it is adaptive to the sparsity parameter. Even under the non-distributed setting, we develop a new and easily-read proof for optimal estimation of the parametric error in high dimensional partial linear model. Finally, several simulated experiments are implemented to indicate comparable empirical performance of our debiased technique under the distributed setting.

研究动机与目标

• 解决结合稀疏性、线性和非线性的半参数模型缺乏分布式优化方法的问题。
• 为特征数量不断增加的高维部分线性模型开发一种通信高效的分布式学习算法。
• 在适当的数据显示划分下，建立全局参数估计量的理论最优性。
• 为非分布式设置下高维部分线性模型中的最优参数估计提供一种新且易于理解的证明。
• 通过模拟实验实证验证去偏技术在分布式设置下的性能。

提出的方法

• 采用分而治之策略，将数据分布在多台机器上以实现可扩展计算。
• 在每个子样本上对双正则化最小二乘估计量应用去偏估计程序以减少偏差。
• 通过加权平均方案将子样本层面的估计量组合成全局估计量。
• 采用适应非参数分量光滑性的数据显示划分策略，同时对稀疏性保持鲁棒性。
• 通过理论分析表明，在正则条件下，全局估计量可达到最优参数速率。
• 提出一种新颖的证明技术，用于高维部分线性模型，相较于先前方法更为简洁透明。

实验结果

研究问题

• RQ1 在发散维度的高维部分线性模型中，分布式算法能否实现最优参数估计？
• RQ2 数据显示划分的选择如何影响估计精度，特别是与非参数分量的光滑性关系如何？
• RQ3 在稀疏部分线性模型的分布式设置中，去偏方法能否提升估计效率？
• RQ4 在分布式计算下，全局估计量的收敛速率具有何种理论保证？
• RQ5 在估计精度和通信效率方面，所提方法与现有方法相比表现如何？

主要发现

• 所提出的分布式估计量在适当的数据显示划分下可达到最优参数收敛速率。
• 数据显示划分策略依赖于非参数分量的光滑性，但对稀疏性水平仍具自适应性。
• 即使特征数量随样本量发散，该方法仍能保持最优估计性能。
• 为非分布式设置下高维部分线性模型中的最优参数估计，开发了一种新且简化的证明。
• 模拟实验表明，去偏分布式方法在实际性能上与现有方法相当。