[论文解读] A Three-Operator Splitting Scheme and its Optimization Applications

Damek Davis, Wotao Yin|arXiv (Cornell University)|Apr 4, 2015

Sparse and Compressive Sensing Techniques参考文献 10被引用 42

一句话总结

本文提出了一种新颖的三算子分裂算法，用于求解涉及三个算子的单调包含问题，其中一个算子为共轭单调算子，从而能够高效求解广泛优化问题。该算法推广了前向-后向、Douglas-Rachford以及前向-Douglas-Rachford方法，提供了一种结构简洁且具有收敛性保证的算法，并首次实现了对三块ADMM扩展的通用收敛性结果。

ABSTRACT

Operator splitting schemes have been successfully used in computational sciences to reduce complex problems into a series of simpler subproblems. Since 1950s, these schemes have been widely used to solve problems in PDE and control. Recently, large-scale optimization problems in machine learning, signal processing, and imaging have created a resurgence of interest in operator-splitting based algorithms because they often have simple descriptions, are easy to code, and have (nearly) state-of-the-art performance for large-scale optimization problems. Although operator splitting techniques were introduced over 60 years ago, their importance has significantly increased in the past decade. This paper introduces a new operator-splitting scheme for solving a variety of problems that are reduced to a monotone inclusion of three operators, one of which is cocoercive. Our scheme is very simple, and it does not reduce to any existing splitting schemes. Our scheme recovers the existing forward-backward, Douglas-Rachford, and forward-Douglas-Rachford splitting schemes as special cases. Our new splitting scheme leads to a set of new and simple algorithms for a variety of other problems, including the 3-set split feasibility problems, 3-objective minimization problems, and doubly and multiple regularization problems, as well as the simplest extension of the classic ADMM from 2 to 3 blocks of variables. In addition to the basic scheme, we introduce several modifications and enhancements that can improve the convergence rate in practice, including an acceleration that achieves the optimal rate of convergence for strongly monotone inclusions. Finally, we evaluate the algorithm on several applications.

研究动机与目标

• 解决大规模优化问题在机器学习、信号处理和成像领域中对高效、可扩展算法的需求。
• 开发一种新的算子分裂框架，推广现有如前向-后向和Douglas-Rachford等方法，适用于三算子单调包含问题。
• 提供一种统一且简洁的算法结构，可处理包含共轭单调算子的问题，包括三集合分裂可行性、双重正则化以及三目标最小化问题。
• 将经典的两块ADMM推广至三块，并获得通用收敛性结果，克服了先前三块ADMM变体的局限性。
• 通过加速技术实现强单调包含问题的最优收敛速率。

提出的方法

• 提出一种基于固定点算子 T 的新型分裂算法，其中涉及两个单调算子的预解算子和一个共轭单调算子。
• 将迭代定义为 $ z^{k+1} = (1 - \lambda_k)z^k + \lambda_k T z^k $，其中 $ T = I - J_{\gamma B} + J_{\gamma A} \circ (2J_{\gamma B} - I - \gamma C \circ J_{\gamma B}) $，且 $ \gamma \in (0, 2\beta) $。
• 通过证明 T 是平均算子，并且 T 的不动点对应于单调包含问题 $ 0 \in Ax + Bx + Cx $ 的解，从而保证收敛性。
• 引入松弛参数 $ \lambda_k \in (0, (4\beta - \gamma)/(2\beta)) $ 以改善收敛行为。
• 将该算法应用于推导三集合分裂可行性、三目标最小化和双重正则化问题的新算法。
• 提供一种加速变体，可实现强单调包含问题的最优 $ O(1/k^2) $ 收敛速率。

实验结果

研究问题

• RQ1 能否开发一种新型算子分裂算法，统一并推广现有用于三算子单调包含问题的分裂方法？
• RQ2 如何利用共轭单调算子的性质，设计出比现有三算子方法更简单、更高效的算法？
• RQ3 所提出的算法能否用于推导出首个三块ADMM扩展的通用收敛性结果？
• RQ4 所提出算法的收敛速率是多少？能否通过加速技术实现强单调问题的最优收敛速率？
• RQ5 该算法在实际问题（如分裂可行性和双重正则化优化）中的适用范围有多大？

主要发现

• 所提出的三算子分裂算法可作为前向-后向、Douglas-Rachford和前向-Douglas-Rachford算法的特例被恢复。
• 在标准假设下，该算法对单调包含问题 $ 0 \in Ax + Bx + Cx $ 实现收敛，其中 $ C $ 为共轭单调算子。
• 该算法实现了三块ADMM的新颖、简洁且通用的收敛性结果，此前该领域尚无此类结果。
• 该算法的加速变体可实现强单调包含问题的最优 $ O(1/k^2) $ 收敛速率。
• 在某些参数选择下，该算法可能收敛速度任意缓慢，表明在最坏情况下该收敛速率是紧致的。
• 在分裂可行性与双重正则化问题等应用中的数值实验结果证实了所提方法在实际应用中的高效性与简洁性。