[论文解读] Accelerated Proximal Point Method for Maximally Monotone Operators

Donghwan Kim|arXiv (Cornell University)|May 13, 2019

Optimization and Variational Analysis参考文献 59被引用 12

一句话总结

本文提出了一种用于极大单调算子的计算机辅助加速近似点法，固定点残差的最坏情况收敛速率提升至 O(1/i²)，显著优于标准的 O(1/i) 速率。该加速基于性能估计问题（PEP）框架推导得出，并可扩展至 ADMM、PDHG 和增广拉格朗日乘子法等关键算法，数值结果证实了其更快的收敛性能。

ABSTRACT

This paper proposes an accelerated proximal point method for maximally monotone operators. The proof is computer-assisted via the performance estimation problem approach. The proximal point method includes various well-known convex optimization methods, such as the proximal method of multipliers and the alternating direction method of multipliers, and thus the proposed acceleration has wide applications. Numerical experiments are presented to demonstrate the accelerating behaviors.

研究动机与目标

• 开发一种针对极大单调算子的加速近似点法，以实现更优的最坏情况收敛速率。
• 将加速技术从凸最小化问题推广至一般的单调包含问题。
• 将该加速方法应用于 ADMM、PDHG 和近似点乘子法等知名的一阶算法。
• 在强单调性条件下引入重启技术，以实现线性收敛。
• 通过数值实验展示加速在理论与实际应用中的优势。

提出的方法

• 该方法采用性能估计问题（PEP）方法，推导出近似点法的加速变体。
• 通过 PEP 的半定规划形式对步长系数进行优化，实现加速。
• 算法采用受 Nesterov 加速启发的外推步骤，但针对单调算子包含问题进行了适配。
• 在强单调性条件下采用重启策略，以实现线性收敛。
• 通过 Yosida 近似框架，将该方法应用于利普希茨连续算子的前向方法。
• 基于 PEP 框架，采用计算机辅助证明方法推导出理论保证。

实验结果

研究问题

• RQ1 近似点法在极大单调算子上的最坏情况收敛速率能否超越 O(1/i)？
• RQ2 PEP 方法是否能够推导出单调包含问题的可证明加速方法？
• RQ3 所提出的加速方法能否推广至 ADMM 和 PDHG 等标准一阶算法？
• RQ4 在强单调性条件下，重启技术对收敛速率有何影响？
• RQ5 该加速方法在实际中与标准变体相比表现如何？

主要发现

• 所提方法在固定点残差方面实现了 O(1/i²) 的最坏情况收敛速率，优于标准的 O(1/i) 速率。
• 数值验证表明，该方法在各类测试问题中均表现出比标准近似点法更快的收敛速度。
• 该方法成功应用于 ADMM，其收敛速率与理论 O(1/i²) 边界相当，且通过重启技术有效缓解了观测到的振荡现象。
• 在强单调性条件下，重启技术实现了线性收敛，实际应用中优于标准近似点法。
• 该加速方法可扩展至通过 Yosida 近似框架处理利普希茨连续算子的前向方法，从而支持加速梯度类方法。
• 计算机辅助 PEP 方法实现了加速方法的严格推导与验证，并在文献中证明其与已知加速方案等价。