[论文解读] Accelerated Douglas-Rachford methods for the solution of convex-concave saddle-point problems

Kristian Bredies, Hongpeng Sun|arXiv (Cornell University)|Apr 21, 2016

Numerical methods in inverse problems参考文献 2被引用 6

一句话总结

该论文提出了一种用于凸-凸鞍点问题的加速Douglas–Rachford方法，在原始或对偶目标函数强凸时实现$\frac{1}{k^2}$的平均收敛率，当两者均强凸时实现$\frac{1}{\theta^k}$（线性）收敛率。该方法在保持收敛速率的同时，引入了不精确线性求解的预条件技术，在大规模图像去噪问题上表现出与最先进算法相当的性能。

ABSTRACT

We study acceleration and preconditioning strategies for a class of Douglas-Rachford methods aiming at the solution of convex-concave saddle-point problems associated with Fenchel-Rockafellar duality. While the basic iteration converges weakly in Hilbert space with $\mathcal{O}(1/k)$ ergodic convergence of restricted primal-dual gaps, acceleration can be achieved under strong-convexity assumptions. Namely, if either the primal or dual functional in the saddle-point formulation is strongly convex, then the method can be modified to yield $\mathcal{O}(1/k^2)$ ergodic convergence. In case of both functionals being strongly convex, similar modifications lead to an asymptotic convergence of $\mathcal{O}({\vartheta}^k)$ for some $0 < {\vartheta} < 1$. All methods allow in particular for preconditioning, i.e., the inexact solution of the implicit linear step in terms of linear splitting methods with all convergence rates being maintained. The efficiency of the proposed methods is verified and compared numerically, especially showing competitiveness with respect to state-of-the-art accelerated algorithms.

研究动机与目标

• 开发Douglas–Rachford分裂法的加速变体，用于凸-凸鞍点问题，以提升收敛速率。
• 在原始或对偶目标函数强凸的假设下，建立收敛性保证。
• 在不降低收敛速率的前提下，将线性预条件技术集成到加速算法中。
• 通过数值实验验证所提方法相对于最先进的一阶算法的效率和竞争力。
• 将Douglas–Rachford方法的适用范围扩展至大规模变分图像处理问题，如$L^2$-Huber-TV去噪。

提出的方法

• 该方法将Douglas–Rachford分裂应用于鞍点问题的最优性条件，将线性算子和次梯度算子分解为隐式步骤。
• 每次迭代中使用泛函$\fancyscript{F}$和$\fancyscript{G}$的近端映射，以及对算子$\fancyscript{K}$相关线性系统的隐式求解。
• 通过一种改进的迭代格式，利用$\fancyscript{F}$或$\fancyscript{G}$的强凸性，实现原始-对偶间隙的$\tfrac{1}{k^2}$平均收敛率。
• 当$\fancyscript{F}$和$\fancyscript{G}$均强凸时，进一步采用加速变体，使原始-对偶间隙实现$\tfrac{1}{\theta^k}$的线性收敛率。
• 通过用一个或多个步骤的线性分裂法（如对称红-黑高斯-赛德尔法）替代精确线性求解，将预条件技术融入其中，同时保持收敛速率。
• 使用迭代序列的平均化形式来评估受限原始-对偶间隙，确保收敛速率界限对平均迭代成立。

实验结果

研究问题

• RQ1 在强凸性条件下，经典Douglas–Rachford方法能否被加速，以实现鞍点问题的$\tfrac{1}{k^2}$收敛率？
• RQ2 当鞍点形式中原始和对偶泛函均强凸时，可实现何种收敛速率？
• RQ3 能否在不降低加速Douglas–Rachford方法收敛速率的前提下，对隐式线性步骤应用预条件技术？
• RQ4 所提出的加速与预条件方法在大规模图像去噪任务中，与现有的一阶算法相比，其数值表现如何？
• RQ5 在实际应用中，预条件技术对收敛因子和计算效率有何影响？

主要发现

• 在$\fancyscript{F}$或$\fancyscript{G}$强凸时，加速Douglas–Rachford方法对原始-对偶间隙实现了$\tfrac{1}{k^2}$的平均收敛率。
• 当$\fancyscript{F}$和$\fancyscript{G}$均强凸时，方法对平均原始-对偶间隙实现了$\tfrac{1}{\theta^k}$的线性收敛率，其中$0 < \theta < 1$。
• 即使通过预条件技术（如对称红-黑高斯-赛德尔迭代）以不精确方式求解线性系统，加速方法仍保持其收敛速率。
• 在$1024 \times 1024$图像去噪的数值实验中，预条件加速Douglas–Rachford（paDR sc）方法在92次迭代内完成，耗时0.72秒CPU时间，速度优于ALG3，同时保持高精度。
• 原始-对偶间隙的观测几何衰减因子显示，paDR sc和aDR sc优于ALG3，表明收敛更快，paDR sc在迭代次数上相比ALG3实现了约2.5倍的加速。
• 在收敛速度和精度方面，该方法与最先进算法具有竞争力，尤其在兆像素尺度的非光滑变分图像去噪问题中表现优异。