[论文解读] An Anderson-Chebyshev Mixing Method for Nonlinear Optimization.

Zhize Li, Jian Li|arXiv (Cornell University)|Sep 7, 2018

Stochastic Gradient Optimization Techniques参考文献 19被引用 5

一句话总结

本文提出了一种安德森-切比雪夫混合方法，将安德森加速与切比雪夫多项式参数相结合，针对二次最小化问题实现了 $O(\sqrt{\kappa}\ln\frac{1}{\epsilon})$ 的最优收敛速率，显著优于先前的 $O(\kappa\ln\frac{1}{\epsilon})$ 边界。该方法进一步扩展至一般非线性问题，并引入了一种动态超参数猜测算法，在实验中表现出优于标准梯度下降法和奈斯特罗夫方法的性能。

ABSTRACT

Anderson mixing (or Anderson acceleration) is an efficient acceleration method for fixed point iterations $x_{t+1}=G(x_t)$, e.g., gradient descent can be viewed as iteratively applying the operation $G(x) = x-\alpha abla f(x)$. It is known that Anderson mixing is quite efficient in practice and can be viewed as an extension of Krylov subspace methods for nonlinear problems. In this paper, we show that Anderson mixing with Chebyshev polynomial parameters can achieve the optimal convergence rate $O(\sqrt{\kappa}\ln\frac{1}{\epsilon})$, which improves the previous result $O(\kappa\ln\frac{1}{\epsilon})$ provided by [Toth and Kelley, 2015] for quadratic functions. Then, we provide a convergence analysis for minimizing general nonlinear problems. Besides, if the hyperparameters (e.g., the Lipschitz smooth parameter $L$) are not available, we propose a guessing algorithm for guessing them dynamically and also prove a similar convergence rate. Finally, the experimental results demonstrate that the proposed Anderson-Chebyshev mixing method converges significantly faster than other algorithms, e.g., vanilla gradient descent (GD), Nesterov's Accelerated GD. Also, these algorithms combined with the proposed guessing algorithm (guessing the hyperparameters dynamically) achieve much better performance.

研究动机与目标

• 改进安德森混合方法在非线性优化中的收敛速率，超越现有边界。
• 开发一种方法，实现二次函数的最优 $O(\sqrt{\kappa}\ln\frac{1}{\epsilon})$ 收敛速率。
• 将该方法扩展至一般非线性问题，并提供理论收敛保证。
• 设计一种动态超参数猜测算法，当关键参数（如利普希茨常数 $L$）未知时仍能保持性能。
• 通过实验验证该方法在性能上优于原始梯度下降法和奈斯特罗夫加速梯度法。

提出的方法

• 该方法将安德森混合与切比雪夫多项式参数结合，用于加速非线性优化中的固定点迭代。
• 利用切比雪夫多项式对先前迭代点进行最优加权，以最小化最坏情况下的收敛误差。
• 针对二次函数进行了理论分析，实现了最优收敛速率 $O(\sqrt{\kappa}\ln\frac{1}{\epsilon})$。
• 对于一般非线性问题，该方法在标准假设下提供了收敛性分析。
• 引入了一种动态猜测算法，用于估计未知的超参数（如利普希茨光滑常数 $L$）。
• 该算法在优化过程中自适应地更新参数估计，从而在无需先验知识的情况下保持快速收敛。

实验结果

研究问题

• RQ1 安德森混合结合切比雪夫参数能否在二次函数上实现最优收敛速率 $O(\sqrt{\kappa}\ln\frac{1}{\epsilon})$？
• RQ2 所提出的方法在一般非线性优化问题中是否仍能保持快速收敛？
• RQ3 能否设计一种动态超参数猜测策略，以在关键参数（如 $L$）未知时仍保持收敛速度？
• RQ4 在实践中，安德森-切比雪夫方法与原始梯度下降法和奈斯特罗夫加速梯度法相比表现如何？
• RQ5 与先前工作相比，该方法收敛速率提升的理论依据是什么？

主要发现

• 安德森-切比雪夫混合方法在二次函数上实现了最优收敛速率 $O(\sqrt{\kappa}\ln\frac{1}{\epsilon})$，优于先前的 $O(\kappa\ln\frac{1}{\epsilon})$ 边界。
• 该方法为一般非线性问题提供了收敛性分析，显著扩展了其在二次函数以外的应用范围。
• 动态超参数猜测算法使得在关键参数（如利普希茨常数 $L$）未知时仍能实现高效性能。
• 实验结果表明，所提方法收敛速度显著快于原始梯度下降法和奈斯特罗夫加速梯度法。
• 采用猜测策略增强的算法在各类测试优化任务中均表现出显著更优的性能。
• 该方法在实践中展现出鲁棒性与高效性，尤其在缺乏问题参数先验知识的场景下表现突出。