[论文解读] A Robust Accelerated Optimization Algorithm for Strongly Convex Functions

Saman Cyrus, Bin Hu+2 more|arXiv (Cornell University)|Oct 12, 2017

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文提出鲁棒动量法（Robust Momentum Method），一种用于光滑强凸函数的一阶优化算法，通过单个可调参数在收敛速度与梯度噪声鲁棒性之间取得平衡。该方法借助控制理论设计，相较于梯度法实现更快收敛，同时在梯度噪声下保持稳定性，其性能可从最快（三重动量法）到最鲁棒（梯度法）系统调节。

ABSTRACT

This work proposes an accelerated first-order algorithm we call the Robust Momentum Method for optimizing smooth strongly convex functions. The algorithm has a single scalar parameter that can be tuned to trade off robustness to gradient noise versus worst-case convergence rate. At one extreme, the algorithm is faster than Nesterov's Fast Gradient Method by a constant factor but more fragile to noise. At the other extreme, the algorithm reduces to the Gradient Method and is very robust to noise. The algorithm design technique is inspired by methods from classical control theory and the resulting algorithm has a simple analytical form. Algorithm performance is verified on a series of numerical simulations in both noise-free and relative gradient noise cases.

研究动机与目标

• 解决一阶优化中强凸函数在收敛速度与梯度噪声鲁棒性之间的权衡问题。
• 开发一种加速算法，保持快速收敛的同时对不精确的梯度评估和不确定的问题参数具有鲁棒性。
• 提供一个统一框架，通过单参数插值于快速梯度法与梯度法之间，实现系统化调参。
• 利用李雅普诺夫分析与线性矩阵不等式，在无噪声与有噪声梯度条件下均提供理论收敛保证。
• 证明算法的鲁棒性裕度随收敛速率降低而增加，从而在高噪声水平下仍能保持稳定。

提出的方法

• 提出三阶递推关系：$ x_{k+1} = x_k + \beta(x_k - x_{k-1}) - \alpha \nabla f(y_k) $，其中 $ y_k = x_k + \gamma(x_k - x_{k-1}) $，参数化为 $ \rho $，即最坏情况下的收敛速率。
• 推导 $ \alpha, \beta, \gamma $ 关于 $ \rho, L, m $ 及条件数 $ \kappa = L/m $ 的显式表达式，确保线性收敛速率为 $ \rho $。
• 使用李雅普诺夫函数 $ V_k $ 证明收敛性，其中 $ V_{k+1} \leq \rho^2 V_k - \nu \|\nabla g(y_k)\|^2 $，且 $ \nu $ 随 $ \rho $ 增大而增加。
• 调节参数 $ \nu \in [0, 1 - \frac{1}{2\kappa}] $ 以控制鲁棒性裕度，其中 $ \nu $ 越大，对梯度噪声的容忍度越高。
• 通过线性矩阵不等式进行数值速率分析，计算在相对梯度噪声 $ \|r_k\| \leq \delta \|\nabla f(y_k)\| $ 条件下的最坏情况收敛速率。
• 通过在二维二次函数上进行仿真验证性能，与 FGM 和 GM 进行比较。

实验结果

研究问题

• RQ1 如何设计一阶优化方法，使其在强凸问题中平衡快速收敛与梯度噪声鲁棒性？
• RQ2 能否设计一种单参数算法，在已知最快收敛速率与最鲁棒行为之间实现插值？
• RQ3 在梯度噪声下，收敛速率与鲁棒性裕度之间存在何种关系？是否可进行解析量化？
• RQ4 在噪声水平逐渐增加时，所提方法与快速梯度法及梯度法在稳定性方面有何差异？
• RQ5 能否通过可调鲁棒性参数的李雅普诺夫分析，在相对梯度噪声下仍保持理论收敛保证？

主要发现

• 当 $ \nu = 0 $ 时，鲁棒动量法的最坏情况线性收敛速率为 $ \rho = 1 - \frac{1}{\sqrt{\kappa}} $，与三重动量法一致，在无噪声条件下优于快速梯度法。
• 当 $ \nu = 1 - \frac{1}{2\kappa} $ 时，算法退化为梯度法，步长 $ \alpha = \frac{1}{L} $，确保对梯度噪声的最大鲁棒性。
• 当 $ \delta = 0.25 $ 时，$ \nu = 0.55 $ 的鲁棒动量法保持稳定，而快速梯度法发散，表明在中等噪声下具有更优鲁棒性。
• 在 $ 0.26 < \delta < 0.41 $ 范围内，快速梯度法的收敛界优于鲁棒动量法，但当 $ \delta > 0.5 $ 时即变得不稳定，而鲁棒动量法可稳定至 $ \delta \to 1 $。
• 鲁棒性裕度 $ \nu $ 随 $ \rho $ 增大而增加，意味着更慢的收敛速率提供更强的梯度噪声抗性，定量揭示了性能与鲁棒性之间的关联。
• 仿真结果表明，当 $ \nu = 0 $ 时，鲁棒动量法在无噪声情况下收敛最快，但在 $ \delta > 0.13 $ 时发散；而更高 $ \nu $ 值可在 $ \delta = 0.5 $ 时仍保持稳定。