[论文解读] Accelerated Proximal Point Method and Forward Method for Monotone Inclusions

Donghwan Kim|arXiv (Cornell University)|May 13, 2019

Optimization and Variational Analysis被引用 3

一句话总结

本文提出了一种基于计算机辅助证明的性能估计问题方法的加速近似点法，用于处理最大单调算子。该方法提升了经典凸优化算法（如乘数法的近端法和ADMM）的收敛速度，数值结果证实了加速效果，并进一步推广至具利普希茨连续的算子的前向方法。

ABSTRACT

This paper proposes an accelerated proximal point method for maximally monotone operators. The proof is computer-assisted via the performance estimation problem approach. The proximal point method includes various well-known convex optimization methods, such as the proximal method of multipliers and the alternating direction method of multipliers, and thus the proposed acceleration has wide applications. Numerical experiments are presented to demonstrate the accelerating behaviors. In addition, this paper shows that the proposed acceleration applies to the forward method for cocoercive operators.

研究动机与目标

• 开发一种用于最大单调算子的加速近端点法，以提升凸优化中的收敛速度。
• 应用性能估计问题方法并结合计算机辅助证明，验证加速效果。
• 展示该方法在近端乘数法和ADMM等知名算法中的适用性。
• 将加速框架扩展至具有利普希茨连续性的算子的前向方法。
• 通过实验提供数值证据，证明收敛行为的改进。

提出的方法

• 本文采用性能估计问题（PEP）框架，将收敛性分析建模为有限维优化问题。
• 利用计算机辅助证明验证由PEP框架推导出的收敛速度界。
• 该方法引入一种受内斯特罗夫型加速启发的外推步骤，以提升收敛速度。
• 通过利用算子的利普希茨连续性，将该方法推广至前向方法。
• 在单调包含问题上实现并数值测试该算法，以验证性能提升。
• 该框架通过严格分析PEP模型，确保收敛性保证。

实验结果

研究问题

• RQ1 能否通过性能估计问题方法对最大单调算子的近端点法进行加速？
• RQ2 在PEP框架下，该类算子的最优收敛速度是多少？
• RQ3 当算子具有利普希茨连续性时，该加速技术是否可推广至前向方法？
• RQ4 在实际中，加速方法的数值性能与标准变体相比如何？
• RQ5 计算机辅助证明能否有效用于验证单调包含算法中的收敛速度？

主要发现

• 所提出的加速近端点法在最大单调算子上的收敛速度优于标准近端点法。
• 通过性能估计问题的计算机辅助证明，验证了理论收敛速度界。
• 数值实验表明，实际中存在明显的加速效果，各类测试问题均观察到更快的收敛。
• 加速框架成功扩展至利普希茨连续算子的前向方法，提升了其收敛速度。
• 该方法在ADMM和近端乘数法等知名凸优化算法中保持了鲁棒性和适用性。
• 结果验证了将性能估计问题与计算机辅助证明相结合在算法加速中的有效性。