[论文解读] Accelerated Gradient Methods with Memory

Ross Drummond, Stephen Duncan|arXiv (Cornell University)|May 23, 2018

Advanced Optimization Algorithms Research参考文献 14被引用 4

一句话总结

该论文提出了一类加速的一阶优化算法家族，记为 $\Sigma_N$，通过利用过去迭代点的记忆，实现对强凸函数的更快收敛。通过将快速梯度法扩展至 $N$ 步历史，并引入自适应重启控制器，该方法在保持加速性的同时恢复了鲁棒性，在 Rosenbrock 函数上从 $(-1,1)$ 出发，43 次迭代内达到函数值 $7.58 \times 10^{-12}$。

ABSTRACT

A set of accelerated first order algorithms with memory are proposed for minimising strongly convex functions. The algorithms are differentiated by their use of the iterate history for the gradient step. The increased convergence rate of the proposed algorithms comes at the cost of robustness, a problem that is resolved by a switching controller based upon adaptive restarting. Several numerical examples highlight the benefits of the proposed approach over the fast gradient method. For example, it is shown that these gradient based methods can minimise the Rosenbrock banana function to $7.58 imes 10^{-12}$ in 43 iterations from an initial condition of $(-1,1)$.

研究动机与目标

• 开发一类一阶优化算法，通过利用历史迭代点信息，使收敛速度超越快速梯度法。
• 解决加速方法在应用于病态或非理想问题时固有的鲁棒性不足问题。
• 利用绝对稳定性理论，将加速方法的收敛性分析从二次函数推广至强凸函数。
• 设计一种基于切换的自适应重启控制器，以在保持加速性的同时恢复单调收敛性。
• 在凸与非凸基准函数上展示所提算法的有效性，包括 Rosenbrock 函数与 Rastrigin 函数。

提出的方法

• 所提出的算法 $\Sigma_N$ 通过引入迭代点的 $N$ 步历史，对快速梯度法进行泛化，形成类似动量的更新方式，从而提升收敛速度。
• 该算法针对二次函数进行参数化，使得主导特征空间中的误差以速率 $\left(1 - \left(\frac{\mu}{L}\right)^{1/N}\right)^k$ 衰减。
• 引入基于自适应重启的切换控制器，用于检测不稳定性，并切换至稳定迭代点，从而恢复单调收敛性。
• 利用绝对稳定性理论分析稳定性与收敛性，将二次问题的结果扩展至强凸问题。
• 控制器在每一步动态选择候选迭代点，确保鲁棒性的同时不损失加速性。
• 该方法被应用于非凸函数（如 Rastrigin 函数），成功逃离局部极小值并收敛至全局最小值附近。

实验结果

研究问题

• RQ1 将 $N$ 步历史信息融入一阶方法，是否能显著加速强凸函数的收敛？
• RQ2 为何加速方法（如快速梯度法）会失去鲁棒性？这一问题能否系统性地解决？
• RQ3 基于切换的自适应重启机制是否能恢复单调收敛性，同时保持快速收敛速率？
• RQ4 基于记忆的算法在具有多个局部极小值的非凸函数（如 Rastrigin 函数）上表现如何？
• RQ5 所提方法在具有挑战性的测试函数（如 Rosenbrock 香蕉函数）上，与经典方法（如梯度下降法和 Nelder-Mead 方法）相比，性能优势有多大？

主要发现

• $\Sigma_N$ 算法在主导误差模式下达到 $\left(1 - \left(\frac{\mu}{L}\right)^{1/N}\right)^k$ 的收敛速率，当 $N \geq 3$ 时，其收敛速度超过快速梯度法。
• 在 Rosenbrock 香蕉函数上，$\Sigma_9^{ml}$ 从 $x_0 = (-1,1)$ 出发，43 次迭代内达到函数值 $7.58 \times 10^{-12}$，优于 Nelder-Mead 方法（需 185 次迭代达到 $1.35 \times 10^{-10}$）。
• 快速梯度法因鲁棒性差，在同一 Rosenbrock 实例中出现发散，而 $\Sigma_N^{ml}$ 保持稳定且收敛。
• 在 Rastrigin 函数上，$\Sigma_6^{ml}$ 从有利初始条件沿星形模式出发，函数值达到 $10^{-6}$ 至 $10^{-8}$，而其他区域仅达到 $10^{-3}$ 至 $10^{-1}$。
• 从 $x_0 = (5,5)$ 出发，算法在 463 次迭代内达到 $f_{\text{Rast}} = 10^{-6}$，表明其具备逃离局部极小值并收敛至全局最小值附近的能力。
• 自适应重启控制器成功恢复了单调收敛性，使算法在 $L$ 超过最小值处局部曲率时，仍能保持加速性且不出现不稳定现象。