[论文解读] Inexact alternating direction multiplier methods for separable convex optimization
本文提出了一类不精确的交替方向乘子法（ADMM）变体——广义、多步和加速的BOSVS，用于求解具有线性约束和复合目标的可分凸优化问题。通过结合线性化子问题、回代法以及基于梯度或加速梯度技术的自适应误差控制，该方法在允许子问题采用廉价的不精确解的同时实现了全局收敛，显著提升了图像重建任务的效率，尤其在精确求解子问题计算成本过高时优势明显。
Inexact alternating direction multiplier methods (ADMMs) are developed for solving general separable convex optimization problems with a linear constraint and with an objective that is the sum of smooth and nonsmooth terms. The approach involves linearized subproblems, a back substitution step, and either gradient or accelerated gradient techniques. Global convergence is established. The methods are particularly useful when the ADMM subproblems do not have closed form solution or when the solution of the subproblems is expensive. Numerical experiments based on image reconstruction problems show the effectiveness of the proposed methods.
研究动机与目标
- 为解决当子问题缺乏闭式解或求解成本过高时，精确ADMM存在的计算效率低下问题。
- 将两块变量步长BOSVS框架扩展至具有全局收敛性保证的多块问题。
- 开发不精确ADMM变体，在保持收敛性的同时，通过子问题求解的自适应精度降低计算成本。
- 通过结合线性化、回代法与加速梯度技术，提升图像重建中的算法性能。
提出的方法
- 提出一种基于回代法生成辅助序列的多块ADMM框架，稳定了原本可能发散的多块ADMM。
- 采用线性化增广拉格朗日子问题，避免精确求解复杂子问题，从而实现高效计算。
- 采用带误差控制的不精确求解，利用可 summable 的误差序列及基于梯度或次梯度变化的自适应停止准则。
- 采用受BOSVS启发的变步长策略，多步与加速变体分别实现子问题迭代的$O(1/l)$与$O(1/l^2)$收敛速率。
- 引入不定的近端项与自适应参数，以增强收敛性与稳定性。
- 采用带动态误差容限的回溯线搜索，确保在子问题不精确求解下仍能实现全局收敛。
实验结果
研究问题
- RQ1不精确ADMM结合回代法是否能实现多块可分凸优化问题的全局收敛？
- RQ2与精确方法相比，子问题求解中的自适应误差控制如何影响收敛性与计算效率？
- RQ3不同子问题求解策略（单次迭代、多步或加速）对整体算法性能有何影响？
- RQ4在线性化子问题结合不精确求解时，是否能在病态或大规模系统下的图像重建任务中超越精确ADMM？
- RQ5变步长与自适应误差容限如何影响多块ADMM的收敛速度与鲁棒性？
主要发现
- 加速的BOSVS变体实现了最快的收敛速率，在图像重建任务中优于精确ADMM及其他不精确变体。
- 对于病态、大规模问题（如部分并行成像），加速BOSVS在早期迭代中显著快于精确算法，尤其在计算成本较高时优势明显。
- 在子问题易于求解的问题中（如图像去模糊），广义BOSVS比精确法与多步法更慢，但多步与加速BOSVS仍优于精确方法。
- 多步与加速BOSVS分别实现了子问题迭代的$O(1/l)$与$O(1/l^2)$收敛速率，从而带来更快的整体收敛。
- 在所提出的不精确性准则与回代机制下，所有三种不精确ADMM变体均被严格证明具有全局收敛性。
- 数值实验表明，采用自适应误差控制的不精确方法在保持精度的同时显著减少了CPU时间，尤其在子问题计算成本较高时效果显著。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。