[论文解读] Feature Clustering for Accelerating Parallel Coordinate Descent

Chad Scherrer, Ambuj Tewari+2 more|arXiv (Cornell University)|Dec 17, 2012

Sparse and Compressive Sensing Techniques参考文献 6被引用 40

一句话总结

本文提出块贪婪坐标下降（block-greedy coordinate descent），一种统一的并行坐标下降算法框架，通过聚类特征以最小化块间相关性来加速收敛。通过优化块谱半径度量，该方法在特征按相关性聚类时能实现更快收敛，尤其在正则化参数较小时表现更优；然而在高度正则化设置下，负载均衡问题成为实际部署的主要挑战。

ABSTRACT

Large-scale L1-regularized loss minimization problems arise in high-dimensional applications such as compressed sensing and high-dimensional supervised learning, including classification and regression problems. High-performance algorithms and implementations are critical to efficiently solving these problems. Building upon previous work on coordinate descent algorithms for L1-regularized problems, we introduce a novel family of algorithms called block-greedy coordinate descent that includes, as special cases, several existing algorithms such as SCD, Greedy CD, Shotgun, and Thread-Greedy. We give a unified convergence analysis for the family of block-greedy algorithms. The analysis suggests that block-greedy coordinate descent can better exploit parallelism if features are clustered so that the maximum inner product between features in different blocks is small. Our theoretical convergence analysis is supported with experimental re- sults using data from diverse real-world applications. We hope that algorithmic approaches and convergence analysis we provide will not only advance the field, but will also encourage researchers to systematically explore the design space of algorithms for solving large-scale L1-regularization problems.

研究动机与目标

• 解决在高维学习和压缩感知中常见的大规模 l1-正则化优化问题对高效、可扩展算法的需求。
• 将现有的并行坐标下降方法（如 Greedy CD、Shotgun 和 Thread-Greedy）统一到单一算法框架中。
• 在一般块划分与并行设置下，为块贪婪算法族提供非渐近收敛性分析。
• 研究基于相关性的特征聚类如何降低块谱半径并加速收敛。
• 识别在高度正则化问题中，由于负载均衡与权重分布问题，导致实际部署面临的关键挑战。

提出的方法

• 提出一种随机化的块贪婪坐标下降算法，将特征划分为 B 个块，并在每次迭代中选择 P 个块进行并行更新。
• 在每个选定块内，基于梯度大小估计，贪婪地更新能带来最大目标函数下降的特征。
• 将块谱半径 ρ_block 定义为从每个块中各选一个特征所形成的 X^T X 子矩阵的最大谱半径。
• 证明 ρ_block 上界为不同块之间特征最大内积（或相关性），从而为基于相关性的聚类提供动机。
• 应用一种简单的聚类启发式方法，将高相关性的特征聚入同一块，以最小化块间相关性。
• 利用基于 ρ_block 推导出的收敛速率上界指导算法设计，并在真实数据集上评估性能。

实验结果

研究问题

• RQ1 能否开发一个统一的算法框架，涵盖现有的并行坐标下降方法（如 Greedy CD、Shotgun 和 Thread-Greedy）？
• RQ2 块贪婪坐标下降的收敛速率如何依赖于特征块的结构及块间相关性？
• RQ3 基于相关性的特征聚类在多大程度上能降低块谱半径并加速收敛？
• RQ4 在高度正则化问题中，使用聚类特征时，收敛速度与负载均衡之间的权衡如何体现？
• RQ5 在不同正则化水平和数据集上，聚类特征与随机特征划分的性能特征有何差异？

主要发现

• 基于相关性的特征聚类在小正则化参数下显著加速收敛（例如 λ = 10^−6），在 Reuters 数据集上，聚类特征在 10,000 次迭代后达到 19,473 个非零项，而随机特征仅达 110 个。
• 在大正则化参数下（例如 λ = 10^−4），聚类特征导致收敛更慢，原因在于仅有六个活跃块，限制了并行性并形成瓶颈。
• 在 Reuters 数据集上，使用随机特征时算法达到每秒 153 次迭代，而使用聚类特征时仅达 12.9 次，表明聚类启发式方法存在严重的负载不均衡问题。
• 块谱半径 ρ_block 上界为不同块间特征最大内积，为基于聚类的加速提供了理论依据。
• 在最高度正则化情况下（λ = 10^−4），聚类特征仅激活六个块，而随机特征激活全部 32 个块，严重限制了并行进展。
• 在 λ = 10^−5 时，聚类特征初始阶段优于随机特征，但在约 250 秒后被反超，表明其优势具有瞬时性且无法持续。