[논문 리뷰] An Anderson-Chebyshev Mixing Method for Nonlinear Optimization.

Zhize Li, Jian Li|arXiv (Cornell University)|2018. 09. 07.

Stochastic Gradient Optimization Techniques참고 문헌 19인용 수 5

한 줄 요약

이 논문은 이_EQUALS를 사용한 케비셰프 다항식 매개변수를 조합한 앤더슨-체비셰프 혼합 방법을 제안하며, 이는 이차 최소화 문제에 대해 $O(\sqrt{\kappa}\ln\frac{1}{\epsilon})$의 최적 수렴 속도를 달성하여 이전의 $O(\kappa\ln\frac{1}{\epsilon})$ bound를 크게 향상시킨다. 또한 이 방법을 일반 비선형 문제로 확장하고, 동적 하이퍼파rameter 추측 알고리즘을 도입하여 실험적으로 표준 경사 하강법과 네스테로프 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Anderson mixing (or Anderson acceleration) is an efficient acceleration method for fixed point iterations $x_{t+1}=G(x_t)$, e.g., gradient descent can be viewed as iteratively applying the operation $G(x) = x-\alpha abla f(x)$. It is known that Anderson mixing is quite efficient in practice and can be viewed as an extension of Krylov subspace methods for nonlinear problems. In this paper, we show that Anderson mixing with Chebyshev polynomial parameters can achieve the optimal convergence rate $O(\sqrt{\kappa}\ln\frac{1}{\epsilon})$, which improves the previous result $O(\kappa\ln\frac{1}{\epsilon})$ provided by [Toth and Kelley, 2015] for quadratic functions. Then, we provide a convergence analysis for minimizing general nonlinear problems. Besides, if the hyperparameters (e.g., the Lipschitz smooth parameter $L$) are not available, we propose a guessing algorithm for guessing them dynamically and also prove a similar convergence rate. Finally, the experimental results demonstrate that the proposed Anderson-Chebyshev mixing method converges significantly faster than other algorithms, e.g., vanilla gradient descent (GD), Nesterov's Accelerated GD. Also, these algorithms combined with the proposed guessing algorithm (guessing the hyperparameters dynamically) achieve much better performance.

연구 동기 및 목표

• 기존의 경계를 초월하여 비선형 최적화를 위한 앤더슨 혼합의 수렴 속도를 향상시키는 것.
• 이차 함수에 대해 최적의 $O(\sqrt{\kappa}\ln\frac{1}{\epsilon})$ 수렴 속도를 달성하는 방법을 개발하는 것.
• 이론적 수렴 보장을 제공하면서 일반 비선형 문제로 이 방법을 확장하는 것.
• 라이플리츠 스무쓰니스 상수 $L$와 같은 핵심 매개변수를 알 수 없을 경우에도 수렴 속도를 유지할 수 있는 동적 하이퍼파rameter 추측 전략을 설계하는 것.
• 제안된 방법이 순수 경사 하강법과 네스테로프 가속 경사 하강법보다 실증적으로 뛰어난 성능을 보임을 검증하는 것.

제안 방법

• 이 방법은 비선형 최적화에서 고정점 반복을 가속하기 위해 앤더슨 혼합에 케비셰프 다항식 매개변수를 적용한다.
• 케비셰프 다항식을 사용하여 이전 반복값을 최적의 가중치로 조합하여 최악의 경우 수렴 오차를 최소화한다.
• 이 방법은 이차 함수에 대해 이론적으로 분석되어 최적의 수렴 속도 $O(\sqrt{\kappa}\ln\frac{1}{\epsilon})$를 달성한다.
• 일반적인 비선형 문제에 대해서는 표준 가정 하에 수렴 분석을 제공한다.
• 라이플리츠 스무쓰니스 상수 $L$와 같은 알려지지 않은 하이퍼파rameter를 추정하기 위해 동적 추측 알고리즘을 도입한다.
• 최적화 과정에서 매개변수 추정치를 적응적으로 업데이트하여 사전 지식이 없이도 빠른 수렴을 유지한다.

실험 결과

연구 질문

• RQ1 앤더슨 혼합에 케비셰프 매개변수를 적용할 경우, 이차 함수에 대해 최적의 수렴 속도 $O(\sqrt{\kappa}\ln\frac{1}{\epsilon})$를 달성할 수 있는가?
• RQ2 제안된 방법이 일반 비선형 최적화 문제에서도 빠른 수렴을 유지하는가?
• RQ3 라이플리츠 상수 $L$와 같은 핵심 매개변수를 알 수 없을 경우에도 수렴 속도를 유지할 수 있는 동적 하이퍼파rameter 추측 전략을 설계할 수 있는가?
• RQ4 실제로 앤더슨-체비셰프 방법은 순수 경사 하강법과 네스테로프 가속 경사 하강법보다 어떻게 비교되는가?
• RQ5 이전 작업에 비해 향상된 수렴 속도의 이론적 근거는 무엇인가?

주요 결과

• 앤더슨-체비셰프 혼합 방법은 이차 함수에 대해 최적의 수렴 속도 $O(\sqrt{\kappa}\ln\frac{1}{\epsilon})$를 달성하여 이전의 $O(\kappa\ln\frac{1}{\epsilon})$ bound를 향상시켰다.
• 이 방법은 일반 비선형 문제에 대한 수렴 분석을 제공하여 이차 함수를 초월한 적용 가능성을 넓혔다.
• 동적 하이퍼파rameter 추측 알고리즘은 라이플리츠 상수 $L$와 같은 핵심 매개변수가 사전에 알려지지 않았을 경우에도 효과적인 성능을 발휘할 수 있도록 했다.
• 실험 결과, 제안된 방법은 순수 경사 하강법과 네스테로프 가속 경사 하강법보다 훨씬 더 빠르게 수렴하는 것으로 나타났다.
• 추측 전략이 통합된 알고리즘은 테스트된 최적화 과제 전반에서 상당히 향상된 성능을 달성했다.
• 특히 문제 매개변수에 대한 사전 지식이 제한된 환경에서, 이 방법은 실용성과 효율성 면에서 뛰어난 강건성을 보였다.