[论文解读] Computer-Assisted Design of Accelerated Composite Optimization Methods: OptISTA

Uijeong Jang, Shuvomoy Das Gupta+1 more|arXiv (Cornell University)|May 25, 2023

Advanced Optimization Algorithms Research被引用 4

一句话总结

该论文提出 OptISTA，一种新型的一阶优化方法，在复合凸优化问题中实现了相较于 FISTA 的两倍加速。通过构建双函数步长优化性能估计问题（PEP）的非凸二次约束二次规划（QCQP）形式，作者利用空间分支定界法设计 OptISTA，并通过将半插值零链构造方法新颖地扩展至复合设置，建立了其精确最优性。

ABSTRACT

The accelerated composite optimization method FISTA (Beck, Teboulle 2009) is suboptimal by a constant factor, and we present a new method OptISTA that improves FISTA by a constant factor of 2. The performance estimation problem (PEP) has recently been introduced as a new computer-assisted paradigm for designing optimal first-order methods. In this work, we present a double-function stepsize-optimization PEP methodology that poses the optimization over fixed-step first-order methods for composite optimization as a finite-dimensional nonconvex QCQP, which can be practically solved through spatial branch-and-bound algorithms, and use it to design the exact optimal method OptISTA for the composite optimization setup. We then establish the exact optimality of OptISTA under the large-scale assumption with a lower-bound construction that extends the semi-interpolated zero-chain construction (Drori, Taylor 2022) to the double-function setup of composite optimization. By establishing exact optimality, our work concludes the search for the fastest first-order methods, with respect to the performance measure of worst-case function value suboptimality, for the proximal, projected-gradient, and proximal-gradient setups involving a smooth convex function and a closed proper convex function.

研究动机与目标

• 通过为复合问题设计最优算法，弥合无约束与复合一阶方法在收敛速率上的差距。
• 将性能估计问题（PEP）框架——此前仅限于单函数、无约束设置——扩展至处理双函数复合优化。
• 开发一种实用的计算方法，用于求解固定步长一阶方法中最优步长选择的非凸 QCQP 形式。
• 通过构建一种新颖的下界，使其与 OptISTA 的上界精确匹配，从而确立所提方法的精确最优性。
• 解决长期悬而未决的问题：FISTA 或投影梯度方法是否可实现类似无约束情况下 OGM 的两倍加速。

提出的方法

• 将复合凸优化中固定步长一阶方法的最优设计建模为有限维非凸二次约束二次规划（QCQP），采用双函数 PEP 框架。
• 应用空间分支定界算法求解所得非凸 QCQP，实现最优步长序列的实际计算。
• 提出一种新颖的近端零尊重序列构造方法，用于在 PEP 框架下模拟近端方法的行为。
• 将半插值零链下界构造方法扩展至复合优化的双函数设置，实现精确最优性认证。
• 利用正交矩阵嵌入技术，将一般复合问题转化为零尊重序列，同时保留下界分析所需的结构。
• 证明最优方法 OptISTA 通过精确匹配上下界，实现了最佳可能的收敛速率。

实验结果

研究问题

• RQ1 能否将 PEP 方法论从单函数无约束优化扩展至涉及两个函数的复合优化问题？
• RQ2 能否设计一种复合问题的一阶方法，使其收敛速率相比 FISTA 实现两倍加速，如同无约束情况下 OGM 的表现？
• RQ3 能否开发一种新颖的下界构造方法，使其在复合设置下与新最优方法的上界精确匹配？
• RQ4 所提方法 OptISTA 是否实现了近端梯度与投影梯度设置下的最快收敛速率？
• RQ5 能否对性能估计问题进行适应性调整，以处理复合优化中固有的非光滑与非凸结构？

主要发现

• OptISTA 在复合凸优化问题中实现了相较于 FISTA 恰好两倍的收敛速率提升。
• 所提出的双函数 PEP 建模方法成功地将复合问题的固定步长一阶方法表示为可通过空间分支定界法求解的非凸 QCQP。
• 基于半插值零链的新型下界构造方法被扩展至双函数复合设置，实现了精确最优性认证。
• 上界（OptISTA）与下界之间的精确匹配证明了 OptISTA 是近端梯度与投影梯度设置下最快的一阶方法。
• 该工作解决了长期悬而未决的问题：FISTA 是否可实现两倍加速，结果确认这种加速不仅可行，而且最优。
• 该方法表明，通过 PEP 的计算机辅助设计可成功拓展至无约束、单函数问题之外的一般复合优化问题。