[论文解读] Inexact Coordinate Descent: Complexity and Preconditioning

Rachael Tappenden, Peter Richtárik+1 more|arXiv (Cornell University)|Apr 19, 2013

Sparse and Compressive Sensing Techniques参考文献 36被引用 31

一句话总结

本文提出了一种用于凸优化的不精确块坐标下降方法，允许在每次迭代中对子问题采用近似解，从而在保持理论收敛保证的同时降低计算成本。主要贡献在于复杂度分析，表明不精确更新可显著减少运行时间而不影响收敛性，尤其在结合预条件化和迭代求解器时效果更明显。

ABSTRACT

In this paper we consider the problem of minimizing a convex function using a randomized block coordinate descent method. One of the key steps at each iteration of the algorithm is determining the update to a block of variables. Existing algorithms assume that in order to compute the update, a particular subproblem is solved exactly. In his work we relax this requirement, and allow for the subproblem to be solved inexactly, leading to an inexact block coordinate descent method. Our approach incorporates the best known results for exact updates as a special case. Moreover, these theoretical guarantees are complemented by practical considerations: the use of iterative techniques to determine the update as well as the use of preconditioning for further acceleration.

研究动机与目标

• 通过允许子问题采用近似解而非精确更新，降低块坐标下降的计算成本。
• 在高概率保证下，为不精确方法提供理论迭代复杂度界，扩展先前关于精确更新结果的研究。
• 集成实用技术如迭代求解器和预条件化，以提升大规模问题上的性能。
• 通过数值实验表明，通过参数控制的不精确度增加可减少运行时间，而不影响收敛速率或最终精度。
• 表明不精确方法在收敛行为上与精确方法一致，但每次迭代成本更低，尤其在二次和l1-正则化最小二乘问题中。

提出的方法

• 提出一种不精确坐标下降（ICD）算法，其中每个块更新通过将子问题求解到指定精度来近似计算，而非精确求解。
• 使用基于对偶间隙的停止准则（如BCGP算法）的迭代子问题求解器，以确保满足不精确性条件（18）。
• 推导了ICD方法的迭代复杂度界，以置信水平ρ和误差容限ε表示，表明其对不精确性参数α和β的依赖关系。
• 应用预条件化技术以加速收敛，尤其在Hessian结构可被利用的二次情形下效果显著。
• 采用均匀概率的随机块选择策略，以保持低每次迭代成本并支持理论分析。
• 集成共轭梯度法及其他迭代求解器，以高效计算不精确更新，尤其适用于无闭式解的l1-正则化最小二乘问题。

实验结果

研究问题

• RQ1 在块坐标下降中，不精确更新是否能在降低计算成本的同时，维持与精确更新相同的收敛保证？
• RQ2 在高概率置信界下，不精确坐标下降方法的理论迭代复杂度是多少？
• RQ3 在实际中，不精确度水平（由β控制）如何影响运行时间和收敛行为？
• RQ4 在哪些场景下——尤其是二次或稀疏正则化问题中——不精确性与预条件化结合能带来显著性能提升？
• RQ5 像BCGP这样的迭代求解器能否有效计算不精确更新，同时仍满足收敛所需的不精确性条件？

主要发现

• 不精确坐标下降方法在高概率下的迭代复杂度界与精确方法一致，且明确依赖于不精确性参数α和β。
• 对于l1-正则化最小二乘问题，使用更小的β（更高的不精确度）可减少运行时间，而不增加迭代次数或影响最终目标值。
• 数值实验表明，在固定块顺序下，所有β值（10⁻⁴、10⁻⁶、10⁻⁸）收敛所需的迭代次数相同，证实不精确性不会损害收敛速率。
• 使用迭代求解器（如BCGP）并结合对偶间隙终止条件，可确保满足不精确性条件，从而支持实际实现。
• 预条件化在二次情形下显著加速收敛，尤其在与不精确更新结合时效果更明显。
• 在非强凸（M < N）和强凸（M > N）两种情形下，不精确方法均保持收敛性，同时降低每次迭代成本，展现出实际效率提升。