[論文レビュー] An Anderson-Chebyshev Mixing Method for Nonlinear Optimization.

Zhize Li, Jian Li|arXiv (Cornell University)|Sep 7, 2018

Stochastic Gradient Optimization Techniques参考文献 19被引用数 5

ひとこと要約

本稿では、Anderson加速とChebyshev多項式パラメータを組み合わせたAnderson-Chebyshev混合手法を提案し、二次的最小化において最適収束率 $O(\sqrt{\kappa}\ln\frac{1}{\epsilon})$ を達成する。これは従来の $O(\kappa\ln\frac{1}{\epsilon})$ の境界を著しく改善する。さらに、一般の非線形問題へそのアプローチを拡張し、動的ハイパーパrameter推定アルゴリズムを導入。実験では、標準的勾配降下法やNesterovの手法よりも優れた性能を示した。

ABSTRACT

Anderson mixing (or Anderson acceleration) is an efficient acceleration method for fixed point iterations $x_{t+1}=G(x_t)$, e.g., gradient descent can be viewed as iteratively applying the operation $G(x) = x-\alpha abla f(x)$. It is known that Anderson mixing is quite efficient in practice and can be viewed as an extension of Krylov subspace methods for nonlinear problems. In this paper, we show that Anderson mixing with Chebyshev polynomial parameters can achieve the optimal convergence rate $O(\sqrt{\kappa}\ln\frac{1}{\epsilon})$, which improves the previous result $O(\kappa\ln\frac{1}{\epsilon})$ provided by [Toth and Kelley, 2015] for quadratic functions. Then, we provide a convergence analysis for minimizing general nonlinear problems. Besides, if the hyperparameters (e.g., the Lipschitz smooth parameter $L$) are not available, we propose a guessing algorithm for guessing them dynamically and also prove a similar convergence rate. Finally, the experimental results demonstrate that the proposed Anderson-Chebyshev mixing method converges significantly faster than other algorithms, e.g., vanilla gradient descent (GD), Nesterov's Accelerated GD. Also, these algorithms combined with the proposed guessing algorithm (guessing the hyperparameters dynamically) achieve much better performance.

研究の動機と目的

• 従来の境界を上回る非線形最適化におけるAnderson混合の収束速度を向上させること。
• 二次関数に対して最適な $O(\sqrt{\kappa}\ln\frac{1}{\epsilon})$ 収束速度を達成する手法を開発すること。
• 一般の非線形問題へその手法を拡張し、理論的収束保証を提供すること。
• Lipschitz滑らかさ定数 $L$ のような主要パラメータが未知である場合に、動的ハイパーパrameter推定アルゴリズムを設計すること。
• 本手法が、vanilla勾長降下法やNesterovの加速勾長降下法よりも優れていることを実験的に検証すること。

提案手法

• 本手法は、非線形最適化における固定点反復を加速するために、Chebyshev多項式パラメータを用いたAnderson混合を適用する。
• Chebyshev多項式を用いて、過去の反復点を最適に重み付けし、最悪ケースの収束誤差を最小化する。
• 二次関数に対する理論的分析により、最適収束速度 $O(\sqrt{\kappa}\ln\frac{1}{\epsilon})$ を達成する。
• 一般の非線形問題に対しては、標準的な仮定の下で収束解析を提供する。
• Lipschitz滑らかさ定数 $L$ のような未知のハイパーパrameterを推定するための動的推定アルゴリズムを導入する。
• 最適化の過程でパラメータ推定値を段階的に更新することで、事前の知識がなくても高速収束を維持できる。

実験結果

リサーチクエスチョン

• RQ1 Anderson混合にChebyshevパラメータを適用することで、二次関数に対して最適収束速度 $O(\sqrt{\kappa}\ln\frac{1}{\epsilon})$ を達成できるか？
• RQ2 提案手法は、一般の非線形最適化問題に対しても高速収束を維持できるか？
• RQ3 Lipschitz定数 $L$ のような主要パラメータが未知である場合に、収束速度を維持できる動的ハイパーパrameter推定戦略を設計できるか？
• RQ4 実際の応用において、Anderson-Chebyshev手法はvanilla勾長降下法やNesterovの加速勾長降下法よりも優れているか？
• RQ5 従来の研究と比較して、収束速度が向上する理論的根拠は何か？

主な発見

• Anderson-Chebyshev混合手法は、二次関数に対して最適収束速度 $O(\sqrt{\kappa}\ln\frac{1}{\epsilon})$ を達成し、従来の $O(\kappa\ln\frac{1}{\epsilon})$ の境界を著しく改善した。
• 本手法は一般の非線形問題に対しても収束解析を提供し、二次関数に限らない応用可能性を拡張した。
• 動的ハイパーパrameter推定アルゴリズムにより、Lipschitz定数 $L$ のような主要パラメータが事前に不明であっても、効果的な性能を発揮できるようになった。
• 実験結果から、本手法はvanilla勾長降下法やNesterovの加速勾長降下法よりも著しく高速に収束することが示された。
• 推定戦略を統合したアルゴリズムは、テストされた最適化タスク全体で顕著に優れた性能を発揮した。
• 特に、問題パラメータの事前知識が限られる状況でも、本手法は実用的で頑健かつ効率的であることが示された。