[论文解读] A Doubly Accelerated Inexact Proximal Point Method for Nonconvex Composite Optimization Problems

Jiaming Liang, Renato D. C. Monteiro|arXiv (Cornell University)|Nov 28, 2018

Sparse and Compressive Sensing Techniques参考文献 20被引用 9

一句话总结

本文提出了一种用于非凸复合优化的双重加速不精确邻近点（D-AIPP）方法，结合外层加速不精确邻近点迭代与内层加速复合梯度迭代，求解形式为 $\min_z f(z) + h(z)$ 的问题，其中 $f$ 为具有Lipschitz连续梯度的非凸函数，$h$ 为具有有界定义域的凸函数。该方法在寻找满足 $\hat{\rho}$-近似解时，实现了 $\mathcal{O}\left(\frac{M^{1/2}m^{3/2}D^2}{\hat{\rho}^2} + \sqrt{\frac{M}{m}}\log^+\left(\frac{M}{m}\right)\right)$ 的迭代复杂度。

ABSTRACT

This paper describes and establishes the iteration-complexity of a doubly accelerated inexact proximal point (D-AIPP) method for solving the nonconvex composite minimization problem whose objective function is of the form $f+h$ where $f$ is a (possibly nonconvex) differentiable function whose gradient is Lipschitz continuous and $h$ is a closed convex function with bounded domain. D-AIPP performs two types of iterations, namely, inner and outer ones. Its outer iterations correspond to the ones of the accelerated inexact proximal point scheme. Its inner iterations are the ones performed by an accelerated composite gradient method for inexactly solving the convex proximal subproblems generated during the outer iterations. Thus, D-AIPP employs both inner and outer accelerations.

研究动机与目标

• 解决目标函数为具有Lipschitz连续梯度的非凸可微函数与具有有界定义域的闭凸函数之和的非凸复合优化问题。
• 通过结合外层与内层加速机制，开发一种实现更快收敛速度的方法。
• 建立获得满足 $\|\hat{v}\| \leq \hat{\rho}$，$\hat{v} \in \partial(f + h)(\hat{z})$ 的 $\hat{\rho}$-近似解的迭代复杂度界。
• 通过采用更大的步长 $\lambda = 1/(2m)$，在曲率参数 $M$ 和 $m$ 的意义上，改进现有加速方法的复杂度。
• 通过在具有有界定义域约束的二次规划上的数值实验，展示计算效率。

提出的方法

• D-AIPP 方法采用基于加速不精确邻近点方案的外层循环，其中每次外层迭代近似求解一个邻近子问题。
• 每个邻近子问题的形式为 $\min_u \left\{ f(u) + h(u) + \frac{1}{2\lambda}\|u - \tilde{x}_{k-1}\|^2 \right\}$，其中 $\lambda = 1/(2m)$，由于曲率条件 (2) 确保了强凸性。
• 内层迭代使用加速复合梯度（ACG）方法求解每个子问题，每轮迭代仅需对 $h$ 进行一次预解算子计算。
• 该方法采用双重加速策略：外层循环通过Nesterov风格动量实现加速，内层循环通过ACG方法对凸子问题实现加速。
• 算法采用回溯线搜索，并自适应调整参数 $\lambda$、$\theta$ 和 $\delta$ 以控制收敛性和子问题精度。
• 输出为一对 $(\hat{z}, \hat{v})$，满足 $\hat{v} \in \nabla f(\hat{z}) + \partial h(\hat{z})$ 且 $\|\hat{v}\| \leq \hat{\rho}$，复杂度界通过残差和误差项的理论分析推导得出。

实验结果

研究问题

• RQ1 双重加速不精确邻近点方法是否能在非凸复合问题上实现优于现有加速方法的迭代复杂度界？
• RQ2 与 $\lambda = 1/M$ 相比，使用更大的步长 $\lambda = 1/(2m)$ 对不精确邻近点方法的收敛性和复杂度有何影响？
• RQ3 对于非凸问题，将外层加速邻近点迭代与内层加速复合梯度迭代相结合的理论迭代复杂度是多少？
• RQ4 在不同曲率比 $M/m$ 下，D-AIPP 方法与短步长 ACG 方法及 AIPP 方法在收敛速度和鲁棒性方面如何比较？
• RQ5 在曲率比 $M/m$ 较大的问题上，自适应调整 $\lambda$ 和 $\delta$ 是否能提升性能，即使超出当前理论分析的适用范围？

主要发现

• D-AIPP 方法在寻找 $\hat{\rho}$-近似解时，实现了 $\mathcal{O}\left(\frac{M^{1/2}m^{3/2}D^2}{\hat{\rho}^2} + \sqrt{\frac{M}{m}}\log^+\left(\frac{M}{m}\right)\right)$ 的迭代复杂度界。
• 该方法为双重加速：在外层邻近点迭代和内层ACG子问题求解中均使用了加速机制，相比单重加速方案，复杂度得到改善。
• 在曲率比 $M/m$ 较小时，D-AIPP 方法在总迭代次数上优于加速梯度（AG）和加速不精确邻近点（AIPP）方法。
• 在曲率比较大的情况下，D-AIPP 仍具竞争力，尽管在测试实例中 AIPP 方法表现更优，提示通过自适应参数调优仍有改进空间。
• 数值结果表明，D-AIPP 达到了与 AG 和 AIPP 相同的目标值 $\bar{f}$，但迭代次数显著更少——例如当 $M=16777216$，$m=1048576$ 时，迭代次数为 1246 次，而 AG 方法为 4429 次，证明了其更优的收敛速度。
• 该方法的理论复杂度依赖于 $M^{1/2}m^{3/2}$，相比短步长 ACG 方法的 $M$ 依赖更优，与长步长 ACG 方法相当，但额外具备双重加速的优势。