[论文解读] Convergence for nonconvex ADMM, with applications to CT imaging

Rina Foygel Barber, Emil Y. Sidky|PubMed|Jun 12, 2020

Sparse and Compressive Sensing Techniques参考文献 35被引用 5

一句话总结

本文在受限强凸性（RSC）假设下，为非凸ADMM算法建立了收敛性保证，且无需对目标函数的光滑性或可微性提出要求。该方法在计算体层摄影（CT）图像重建中表现出鲁棒性，即使数据保真项与正则化项均为非光滑且非凸，亦可通过模拟CT和分位数回归实例得到理论与实证支持。

ABSTRACT

The alternating direction method of multipliers (ADMM) algorithm is a powerful and flexible tool for complex optimization problems of the form <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mi>m</mml:mi> <mml:mi>i</mml:mi> <mml:mi>n</mml:mi> <mml:mo>{</mml:mo> <mml:mi>f</mml:mi> <mml:mo>(</mml:mo> <mml:mi>x</mml:mi> <mml:mo>)</mml:mo> <mml:mo>+</mml:mo> <mml:mi>g</mml:mi> <mml:mo>(</mml:mo> <mml:mi>y</mml:mi> <mml:mo>)</mml:mo> <mml:mspace></mml:mspace> <mml:mo>:</mml:mo> <mml:mspace></mml:mspace> <mml:mi>A</mml:mi> <mml:mi>x</mml:mi> <mml:mo>+</mml:mo> <mml:mi>B</mml:mi> <mml:mi>y</mml:mi> <mml:mo>=</mml:mo> <mml:mi>c</mml:mi> <mml:mo>}</mml:mo></mml:math> . ADMM exhibits robust empirical performance across a range of challenging settings including nonsmoothness and nonconvexity of the objective functions <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mi>f</mml:mi></mml:math> and <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mi>g</mml:mi></mml:math> , and provides a simple and natural approach to the inverse problem of image reconstruction for computed tomography (CT) imaging. From the theoretical point of view, existing results for convergence in the nonconvex setting generally assume smoothness in at least one of the component functions in the objective. In this work, our new theoretical results provide convergence guarantees under a restricted strong convexity assumption without requiring smoothness or differentiability, while still allowing differentiable terms to be treated approximately if needed. We validate these theoretical results empirically, with a simulated example where both <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mi>f</mml:mi></mml:math> and <mml:math xmlns:mml="http://www.w3.org/1998/Math/MathML"><mml:mi>g</mml:mi></mml:math> are nondifferentiable-and thus outside the scope of existing theory-as well as a simulated CT image reconstruction problem.

研究动机与目标

• 为解决ADMM在非凸与非光滑设置下缺乏理论收敛保证的问题，此类情况在现代成像问题中普遍存在。
• 构建ADMM的收敛性框架，无需目标函数的光滑性或可微性，扩展现有理论的适用范围。
• 在模拟分位数回归问题与包含非凸与非光滑分量的CT图像重建任务上，对理论结果进行实证验证。
• 使ADMM能够可靠应用于医学成像中的复杂反问题，如CT，其中非凸性与不可微性普遍存在。

提出的方法

• 提出一种线性化ADMM变体，通过使用目标函数可微部分的线性近似，实现可计算的更新步骤。
• 在可行集上引入受限强凸性（RSC）条件，确保收敛性，而无需整个目标函数光滑。
• 将算法应用于分解为凸（可能非光滑）与二阶可微（可能非凸）部分的问题：f(x) = f_c(x) + f_d(x)，g(y) = g_c(y) + g_d(y)。
• 采用带正定惩罚矩阵Σ的增广拉格朗日函数，以强制执行线性约束Ax + By = c。
• 采用迭代更新：x_{t+1} = argmin_x L_Σ(x, y_t, u_t)，y_{t+1} = argmin_y L_Σ(x_{t+1}, y, u_t)，u_{t+1} = u_t + Σ(Ax_{t+1} + By_{t+1} - c)。
• 通过在迭代点上检查RSC条件与近似一阶最优性来验证收敛性，而非全局收敛。

实验结果

研究问题

• RQ1 当现有理论失效时，能否在非凸与非光滑设置下保证ADMM的收敛性？
• RQ2 受限强凸性（RSC）条件是否足以在不依赖目标函数光滑性的情况下确保ADMM的收敛性？
• RQ3 当数据保真项与正则化项均为非凸且非光滑时，所提出的ADMM变体能否成功实现CT成像中的图像重建？
• RQ4 迭代点运行平均的收敛是否足够，还是可以建立迭代点本身更强的收敛性？
• RQ5 该理论框架能否扩展至随机ADMM，以适用于CT成像等大规模应用场景？

主要发现

• 在受限强凸性（RSC）假设下，建立了非凸ADMM的理论收敛性，即使f与g均为非光滑且非凸。
• 在CT实例中通过实证验证了RSC条件，显示所有迭代中比值α_t均保持远离零，确认沿算法路径假设成立。
• 在CT模拟中验证了近似一阶最优性，‖∇g(ỹ)‖₂ / ‖∇g(0)‖₂ = 0.000769，表明解的质量接近最优。
• 该算法在f与g均为不可微的模拟CT问题中成功实现了图像重建，此情形超出了先前理论保证的适用范围。
• 实证结果表明，迭代点的运行平均收敛，尽管在无更强假设下，个体迭代点x_t与y_t本身可能不收敛。
• 该方法在高维、病态条件的反问题（如CT图像重建）中表现出鲁棒性能，即使标准凸ADMM理论不适用。