[论文解读] Convergence rate analysis of the forward-Douglas-Rachford splitting scheme

Damek Davis|arXiv (Cornell University)|Oct 9, 2014

Sparse and Compressive Sensing Techniques参考文献 30被引用 4

一句话总结

本文对凸优化中的前向多萝西-拉赫福德分裂（FDRS）算法提供了全面的收敛速率分析。在一般凸性下建立了递推与非递推收敛速率，表明当光滑项满足Lipschitz可微性时，FDRS的收敛速度与前向-后向分裂（FBS）一致；在强凸性与光滑性条件下证明了线性收敛性，同时构造了即使在强凸性下FDRS收敛也任意缓慢的例子。

ABSTRACT

Operator splitting schemes are a class of powerful algorithms that solve complicated monotone inclusion and convex optimization problems that are built from many simpler pieces. They give rise to algorithms in which all simple pieces of the decomposition are processed individually. This leads to easily implementable and highly parallelizable or distributed algorithms, which often obtain nearly state-of-the-art performance. In this paper, we analyze the convergence rate of the forward-Douglas-Rachford splitting (FDRS) algorithm, which is a generalization of the forward-backward splitting (FBS) and Douglas-Rachford splitting (DRS) algorithms. Under general convexity assumptions, we derive the ergodic and nonergodic convergence rates of the FDRS algorithm, and show that these rates are the best possible. Under Lipschitz differentiability assumptions, we show that the best iterate of FDRS converges as quickly as the last iterate of the FBS algorithm. Under strong convexity assumptions, we derive convergence rates for a sequence that strongly converges to a minimizer. Under strong convexity and Lipschitz differentiability assumptions, we show that FDRS converges linearly. We also provide examples where the objective is strongly convex, yet FDRS converges arbitrarily slowly. Finally, we relate the FDRS algorithm to a primal-dual forward-backward splitting scheme and clarify its place among existing splitting methods. Our results show that the FDRS algorithm automatically adapts to the regularity of the objective functions and achieves rates that improve upon the sharp worst case rates that hold in the absence of smoothness and strong convexity.

研究动机与目标

• 分析用于求解单调包含问题与凸优化问题的前向-多萝西-拉赫福德分裂（FDRS）算法的收敛速率。
• 在各种正则性假设下，建立FDRS的紧收敛速率，包括一般凸性、Lipschitz可微性与强凸性。
• 阐明FDRS与其他分裂方法（如前向-后向法与原始-对偶格式）的关系，并展示其对问题结构的利用能力。
• 表明FDRS能自动适应目标函数的正则性，在存在光滑性或强凸性时实现更优的收敛速率。
• 构造强凸性不能保证快速收敛的例子，强调为实现线性收敛需额外引入光滑性假设的重要性。

提出的方法

• 通过不动点迭代与李雅普诺夫分析，在一般凸性下推导出FDRS的递推与非递推收敛速率。
• 证明在光滑项满足Lipschitz可微性时，FDRS的最佳迭代点收敛速率与前向-后向分裂（FBS）的最后一个迭代点相同，达到$ O(1/k) $的收敛速度。
• 采用原始-对偶视角，将FDRS与前向-后向原始-对偶格式关联，明确其在算子分裂族中的位置。
• 在希尔伯特空间中利用谱分析与特征值分解构造最坏情况示例，证明仅在强凸性下FDRS可能收敛任意缓慢。
• 在可分希尔伯特空间中构造参数化向量序列，推导收敛速度的下界，揭示迭代点衰减速率的依赖关系。
• 将FDRS算子分析为近端、梯度与投影步长的复合，通过能量下降论证与范数不等式推导收敛界。

实验结果

研究问题

• RQ1 在一般凸性假设下，前向-多萝西-拉赫福德分裂（FDRS）算法的收敛速率是什么？
• RQ2 当光滑项满足Lipschitz可微性时，FDRS的收敛速率与前向-后向分裂（FBS）算法相比如何？
• RQ3 在何种条件下FDRS能实现线性收敛？仅在强凸性下是否能保证线性收敛？
• RQ4 即使目标函数是强凸的，FDRS是否可能收敛任意缓慢？如果是，原因是什么？
• RQ5 在结构利用与算法效率方面，FDRS与其他原始与原始-对偶分裂方法有何关系？

主要发现

• 在一般凸性下，FDRS在最坏情况下实现递推收敛速率$ O(1/k) $与非递推收敛速率$ O(1/k) $，且该速率是紧的。
• 在光滑项满足Lipschitz可微性时，FDRS的最佳迭代点收敛速率与FBS的最后一个迭代点相同，达到$ O(1/k) $的收敛速度。
• 在强凸性下，FDRS生成的序列强收敛于最小值点，非递推意义下的收敛速率为$ O(1/k) $。
• 在强凸性与Lipschitz可微性同时成立时，FDRS实现线性收敛，即收敛速率为$ O(\rho^k) $，其中$ \rho \in (0,1) $。
• 本文构造了一类例子，其中目标函数为强凸，但FDRS收敛速度可任意缓慢，表明仅强凸性不足以保证线性收敛。
• FDRS的收敛速率具有自适应性：当存在额外正则性（如光滑性或强凸性）时，其收敛速率会提升，在缺乏此类结构时优于最坏情况下的界。