[论文解读] A Primer on Coordinate Descent Algorithms

Hao-Jun Michael Shi, Shenyinying Tu+2 more|arXiv (Cornell University)|Sep 30, 2016

Sparse and Compressive Sensing Techniques参考文献 84被引用 53

一句话总结

本专著为数据科学、统计学和工程领域的研究人员提供了坐标下降（CD）算法的全面且易于理解的入门介绍。它将CD呈现为一种强大的方法，通过依次沿单个坐标或坐标块进行最小化，以解决大规模优化问题，其应用涵盖机器学习、压缩感知和图像处理。主要贡献是一个统一的框架，包含实用的实现策略、收敛性保证以及真实世界的应用示例，强调了效率、并行化以及在非凸和结构化问题中的适用性。

ABSTRACT

This monograph presents a class of algorithms called coordinate descent algorithms for mathematicians, statisticians, and engineers outside the field of optimization. This particular class of algorithms has recently gained popularity due to their effectiveness in solving large-scale optimization problems in machine learning, compressed sensing, image processing, and computational statistics. Coordinate descent algorithms solve optimization problems by successively minimizing along each coordinate or coordinate hyperplane, which is ideal for parallelized and distributed computing. Avoiding detailed technicalities and proofs, this monograph gives relevant theory and examples for practitioners to effectively apply coordinate descent to modern problems in data science and engineering.

研究动机与目标

• 为数据科学、统计学和工程领域非优化方向的研究人员提供一份自包含且易于理解的坐标下降（CD）算法入门指南。
• 通过强调算法变体、更新策略和索引选择规则，弥合理论基础与实际实现之间的差距。
• 展示CD在现代数据科学应用中出现的大规模、结构化优化问题中的有效性。
• 在最小假设条件下建立理论收敛保证，包括对非凸和非光滑问题的保证。
• 通过关键应用中的详细示例和类代码推导，指导从业者选择和实现CD变体。

提出的方法

• 采用块坐标下降框架，即在每次迭代中，更新一个或多个坐标（或块），而固定其他坐标，沿选定变量最小化目标函数。
• 引入多种更新策略：块坐标最小化、邻近点法、邻近线性法、外推法、随机梯度法以及方差缩减技术。
• 提出多种索引选择规则：循环式、随机式、贪婪式（如高斯-萨瑟兰规则），并比较其收敛特性与实际性能。
• 利用坐标友好的（CF）结构，通过预计算并缓存非变量相关和变量相关量，加速计算。
• 采用邻近算子框架处理非光滑正则化项（如ℓ1范数、总变差），从而在复合优化问题中实现高效更新。
• 通过扩展值函数和指示函数的应用，将约束和结构化正则化（如稀疏性、低秩性）建模纳入CD框架。

实验结果

研究问题

• RQ1 如何在现代数据科学中常见的大规模、非凸和非光滑优化问题中有效应用坐标下降？
• RQ2 哪些关键的算法变体和更新策略能够提升坐标下降的收敛速度与稳定性？
• RQ3 不同的索引选择规则（循环式、随机式、贪婪式）如何影响收敛速率与实际性能？
• RQ4 在迭代CD算法中，如何利用坐标友好的结构来降低计算成本？
• RQ5 在非凸设置下，能够为收敛到驻点提供哪些理论保证？在凸设置下，又能为收敛到最小值提供哪些理论保证？

主要发现

• 在较弱假设下，坐标下降算法可收敛至非凸问题的驻点，对于凸问题，在最小正则性条件下可收敛至全局最小值。
• 随机式和贪婪式（如高斯-萨瑟兰）索引选择规则通常比循环式规则收敛更快，尤其在病态条件问题中表现更优。
• 邻近算子框架使得在包含ℓ1-范数和总变差等非光滑正则化项的复合问题中，能够实现高效更新。
• 对于LASSO、非负矩阵分解和稀疏逻辑回归等结构化问题，CD在每轮迭代成本较低的前提下，实现了当前最优性能。
• 当第二个算子保持相邻分量的单调性时，邻近算子的复合（如prox_f ∘ prox_g）是有效的，从而可高效求解总变差正则化问题。
• 坐标更新的并行化是可行且高效的，尤其当与并行数值线性代数和分块更新结合时，可实现对大规模系统的可扩展性。