[论文解读] An ADMM Algorithm for a Class of Total Variation Regularized Estimation Problems

Bo Wahlberg, Stephen Boyd+2 more|arXiv (Cornell University)|Mar 8, 2012

Statistical Methods and Inference参考文献 9被引用 9

一句话总结

该论文提出了一种高效的ADMM算法，用于求解具有总变差正则化的凸优化问题，通过利用块可分结构和交替最小化，实现了数量级的加速。该方法通过并行化更新和稀疏线性代数技术，加速了ℓ₁均值与方差滤波，数值实验表明其性能优于通用求解器SDPT3高达10,000倍。

ABSTRACT

We present an alternating augmented Lagrangian method for convex optimization problems where the cost function is the sum of two terms, one that is separable in the variable blocks, and a second that is separable in the difference between consecutive variable blocks. Examples of such problems include Fused Lasso estimation, total variation denoising, and multi-period portfolio optimization with transaction costs. In each iteration of our method, the first step involves separately optimizing over each variable block, which can be carried out in parallel. The second step is not separable in the variables, but can be carried out very efficiently. We apply the algorithm to segmentation of data based on changes inmean (l_1 mean filtering) or changes in variance (l_1 variance filtering). In a numerical example, we show that our implementation is around 10000 times faster compared with the generic optimization solver SDPT3.

研究动机与目标

• 解决通用求解器（如SDPT3）在大规模总变差正则化估计问题上的计算低效问题。
• 开发一种可扩展、结构感知的优化方法，专用于具有可分项和连续块间差异的优化问题。
• 实现对非平稳数据分割中ℓ₁均值与方差滤波的高效求解，适用于信号处理与统计领域。
• 通过ADMM利用问题结构，实现每轮迭代中可并行化、低复杂度的更新。
• 在真实世界的数值示例中，显著优于现成的凸优化工具。

提出的方法

• 将交替方向乘子法（ADMM）应用于一类由可分项和类似总变差的连续差分惩罚项组成的凸优化问题。
• 将问题分解为两个交替子问题：一个涉及每个变量块的近似类似更新（可并行求解），另一个涉及差分变量的全局更新。
• 通过变量分裂解耦总变差项，引入辅助变量表示连续差分，以实现块级优化。
• 使用高效运算（如软阈值、矩阵求逆和线性系统求解）实现ADMM更新，充分利用稀疏和结构化数据。
• 在数值实验中引入松弛（α = 1.8）以加速收敛。
• 采用原始-对偶残差停止准则，设置绝对和相对容差（ε_abs = 1e-4，ε_rel = 1e-3），以实现鲁棒的收敛检测。

实验结果

研究问题

• RQ1 定制化的ADMM算法是否能利用总变差正则化问题的块可分与差分结构，实现显著快于通用求解器的收敛速度？
• RQ2 所提方法在大规模信号分割任务（如ℓ₁均值与方差滤波）中的实际可扩展性如何？
• RQ3 在ADMM框架中，变量块更新的并行化能在多大程度上进一步加速计算？
• RQ4 惩罚参数ρ对收敛性有何影响？是否可在无正式证明的情况下采用启发式调参策略？
• RQ5 在真实世界的估计问题中，该方法在运行时间与解的质量方面与标准工具（如CVX/SDPT3）相比如何？

主要发现

• 在N = 400个观测值的ℓ₁均值滤波问题中，所提ADMM算法相比通用SDPT3求解器实现了10,000倍的加速。
• 该算法仅用2.2毫秒即计算出相同解，而使用CVX与SDPT3则需20秒，展现出极高的计算效率。
• 通过并行化独立变量块的更新，可进一步提升算法性能，四核CPU上潜在提速达4倍。
• 数值示例中的原始与对偶残差图表明算法收敛可靠，残差单调递减。
• 解的质量与通用求解器相当，估计的均值轨迹紧密跟踪真实分段常数信号。
• 经验调参表明设置ρ ≈ λ可获得良好的收敛行为，尽管未提供正式证明。