[论文解读] Adaptive Three Operator Splitting

Fabián Pedregosa, Gauthier Gidel|arXiv (Cornell University)|Apr 6, 2018

Sparse and Compressive Sensing Techniques参考文献 27被引用 7

一句话总结

本文提出了一种自适应三算子分裂方法，通过线搜索动态调整步长，无需手动调参即可保持收敛性保证。该方法在一般凸函数下实现次线性收敛，在强凸性和光滑性条件下实现线性收敛，每轮迭代仅增加两次函数评估，且除初始估计外无需其他超参数依赖。

ABSTRACT

We propose and analyze an adaptive step-size variant of the Davis-Yin three operator splitting. This method can solve optimization problems composed by a sum of a smooth term for which we have access to its gradient and an arbitrary number of potentially non-smooth terms for which we have access to their proximal operator. The proposed method sets the step-size based on local information of the objective --hence allowing for larger step-sizes--, only requires two extra function evaluations per iteration and does not depend on any step-size hyperparameter besides an initial estimate. We provide an iteration complexity analysis that matches the best known results for the non-adaptive variant: sublinear convergence for general convex functions and linear convergence under strong convexity of the smooth term and smoothness of one of the proximal terms. Finally, an empirical comparison with related methods on 6 different problems illustrates the computational advantage of the proposed method.

研究动机与目标

• 开发Davis-Yin三算子分裂方法的自适应步长变体，用于复合凸优化。
• 消除对固定或全局估计步长的依赖，后者在实际中可能表现次优。
• 在保持与非自适应变体相同收敛速率的同时，提升实际性能。
• 为包含光滑项和多个非光滑项（带邻近算子）的问题提供高效优化方法。
• 提出一种仅需初始步长估计、并利用局部信息自适应选择步长的方法。

提出的方法

• 该方法采用回溯线搜索策略，基于充分下降条件在每轮迭代中自适应设置步长。
• 通过乘积空间公式，将三算子分裂框架扩展至处理任意数量的邻近项。
• 算法每轮迭代仅评估一次光滑项的梯度和各非光滑项的邻近算子。
• 每轮迭代额外进行两次函数评估，以验证步长选择的Armijo型充分下降条件。
• 自适应步长由确保目标函数充分下降的回溯线搜索确定。
• 该方法被解释为鞍点优化算法，从而实现一种新颖的收敛性分析，具有更强的通用性与更紧的收敛速率。

实验结果

研究问题

• RQ1 能否为三算子分裂方法设计一种自适应步长策略，在不牺牲收敛性保证的前提下提升实际性能？
• RQ2 基于局部信息的自适应步长选择与固定或全局估计步长相比，在收敛速度和鲁棒性方面表现如何？
• RQ3 该自适应变体的迭代复杂度是多少？是否与非自适应方法的最佳已知速率一致？
• RQ4 能否通过乘积空间公式将该方法扩展至处理任意数量的非光滑项？
• RQ5 自适应机制的计算开销如何？尽管增加了额外的函数评估，其效率是否仍保持良好？

主要发现

• 所提出的自适应三算子分裂方法在一般凸函数下实现次线性收敛，收敛速率与非自适应变体的最佳已知速率一致。
• 在光滑项强凸且一个邻近项光滑的条件下，该方法表现出线性收敛，与非自适应情况一致。
• 该方法每轮迭代仅增加两次额外函数评估，即使采用自适应步长选择，仍保持计算高效。
• 在六个不同问题上的实验结果表明，该自适应方法在所有测试基准中均优于相关方法，时间到次优性表现更优。
• 该方法除初始估计外不依赖任何步长超参数，显著降低了调参负担。
• 收敛性分析基于一种新颖的鞍点解释，相比原始Davis-Yin分析，得出了更优且更具通用性的收敛速率。