[论文解读] DECOrrelated feature space partitioning for distributed sparse regression

Xiangyu Wang, David B. Dunson+1 more|arXiv (Cornell University)|Feb 8, 2016

Statistical Methods and Inference参考文献 25被引用 16

一句话总结

本文提出 DECO，一种在高维、小样本场景（$p \gg n$）下用于分布式稀疏回归的显而易见的并行框架。通过在跨工作节点划分特征空间之前对特征进行去相关化处理，DECO 实现了与分区数量无关的一致变量选择与参数估计，其收敛速度近乎达到极小极大最优。

ABSTRACT

Fitting statistical models is computationally challenging when the sample size or the dimension of the dataset is huge. An attractive approach for down-scaling the problem size is to first partition the dataset into subsets and then fit using distributed algorithms. The dataset can be partitioned either horizontally (in the sample space) or vertically (in the feature space). While the majority of the literature focuses on sample space partitioning, feature space partitioning is more effective when $p\gg n$. Existing methods for partitioning features, however, are either vulnerable to high correlations or inefficient in reducing the model dimension. In this paper, we solve these problems through a new embarrassingly parallel framework named DECO for distributed variable selection and parameter estimation. In DECO, variables are first partitioned and allocated to $m$ distributed workers. The decorrelated subset data within each worker are then fitted via any algorithm designed for high-dimensional problems. We show that by incorporating the decorrelation step, DECO can achieve consistent variable selection and parameter estimation on each subset with (almost) no assumptions. In addition, the convergence rate is nearly minimax optimal for both sparse and weakly sparse models and does NOT depend on the partition number $m$. Extensive numerical experiments are provided to illustrate the performance of the new framework.

研究动机与目标

• 解决当特征数量 $p$ 远大于样本量 $n$ 时拟合稀疏回归模型的挑战。
• 克服现有特征空间划分方法对特征相关性敏感或降维效率低下的局限性。
• 开发一种可扩展的分布式框架，在降低计算负担的同时保持统计准确性。
• 在高维特征具有任意相关结构的情况下，实现一致的变量选择与参数估计。

提出的方法

• 提出一种新颖的框架 DECO（去相关特征空间划分），首先对特征矩阵应用去相关变换，然后再进行划分。
• 将去相关后的特征划分为 $m$ 个子集，并分发到 $m$ 个工作节点上，使用任意高维回归方法独立拟合。
• 基于样本协方差矩阵的逆矩阵设计去相关步骤，以解耦特征，即使在子集模型因缺失特征而误设的情况下，也能实现一致估计。
• 使用简单的平均或融合规则聚合所有工作节点的结果，生成具有最优收敛速率的最终估计。
• 理论分析表明，$\ell_2$ 和 $\ell_\infty$ 范数下的估计误差与使用完整数据集可达到的极小极大速率一致。
• 该框架对基础惩罚回归方法（如套索）的选择不敏感，因此具有广泛适用性。

实验结果

研究问题

• RQ1 在高维回归中，能否使特征空间划分对任意特征相关性具有鲁棒性？
• RQ2 是否存在一种分布式框架，可在不依赖特征独立性等强假设的前提下，实现极小极大最优的收敛速率？
• RQ3 在每个子集模型因缺失特征而本质上误设的分布式设置下，能否实现一致的变量选择与参数估计？
• RQ4 分布式框架的性能如何随分区数 $m$ 变化？
• RQ5 该框架能否在计算效率和模型选择准确性方面优于全数据估计？

主要发现

• DECO 在 $\ell_2$ 和 $\ell_\infty$ 范数下均实现了近乎极小极大最优的收敛速率，且该速率与分区数 $m$ 无关，适用于稀疏和弱稀疏模型。
• 在学生表现数据集（$n=395, p=741, m=5$）中，DECO-3 的均方误差（MSE）为 3.64，仅选择 1.5 个变量，优于全数据套索（MSE: 3.79）和朴素套索（MSE: 16.5）。
• 在哺乳动物眼病数据集（$n=120, p=5000, m=100$）中，DECO-3 的 MSE 为 0.012，仅选择 4.3 个特征，性能与全数据套索（MSE: 0.012）相当，但运行时间显著缩短（9.6 秒 vs. 139.0 秒）。
• 在电力负荷数据集（$n=370, p=1,251,980, m=1000$）中，DECO-3 的 MSE 为 0.691，仅选择 4 个特征，远超全数据套索（MSE: 2.205）和朴素套索（MSE: $3.6 \times 10^8$）。
• 该框架计算高效，在大规模场景下相比全数据套索可将运行时间减少高达 99%，同时保持或提升模型选择准确性。
• DECO 对任意相关结构具有鲁棒性，理论保证与实证结果均表明，即使不存在独立的特征组，其性能依然稳定。