[논문 리뷰] Accelerated Gradient Methods with Memory

Ross Drummond, Stephen Duncan|arXiv (Cornell University)|2018. 05. 23.

Advanced Optimization Algorithms Research참고 문헌 14인용 수 4

한 줄 요약

이 논문은 강하게 볼록 함수에 대해 더 빠른 수렴을 달성하기 위해 과거 반복값의 기억을 활용하는 가속화된 1차 최적화 알고리즘 가족 $\Sigma_N$을 제안한다. $N$-단계 이력과 적응형 재시작 제어기를 통합한 빠른 경사 하강법의 확장으로, 가속화를 유지하면서도 안정성을 복원하여, $(-1,1)$ 에서 시작해 43회 반복만에 로젠브록 함수에서 함수값 $7.58 \times 10^{-12}$ 를 달성한다.

ABSTRACT

A set of accelerated first order algorithms with memory are proposed for minimising strongly convex functions. The algorithms are differentiated by their use of the iterate history for the gradient step. The increased convergence rate of the proposed algorithms comes at the cost of robustness, a problem that is resolved by a switching controller based upon adaptive restarting. Several numerical examples highlight the benefits of the proposed approach over the fast gradient method. For example, it is shown that these gradient based methods can minimise the Rosenbrock banana function to $7.58 imes 10^{-12}$ in 43 iterations from an initial condition of $(-1,1)$.

연구 동기 및 목표

• 과거 반복값 정보를 활용하여 빠른 경사 하강법을 초월한 수렴 가속화를 달성하는 1차 최적화 알고리즘을 개발하기 위해.
• 불량한 조건 또는 비이deal 문제에 적용되었을 때 가속화 방법의 본질적 안정성 부족 문제를 해결하기 위해.
• 절대 안정성 이론을 활용해 가속화 방법의 수렴 분석을 이차 함수에서 강하게 볼凸 함수로 일반화하기 위해.
• 가속화를 유지하면서도 단조 수렴을 복원하는 스위칭 기반 적응형 재시작 제어기를 설계하기 위해.
• 로젠브록 및 라스트리진 함수를 포함한 볼凸 및 비볼凸 기준 테스트 함수에서 제안된 알고리즘의 유효성을 입증하기 위해.

제안 방법

• 제안된 알고리즘 $\Sigma_N$ 은 반복값의 $N$-단계 이력을 통합하여 운동량 유사 업데이트를 형성함으로써 수렴 속도를 향상시키는 방식으로 빠른 경사 하강법을 일반화한다.
• 이 알고리즘은 이차 함수에 대해 파arameter화되어 있으며, 주요 고유공간 내 오차가 $\left(1 - \left(\frac{\mu}{L}\right)^{1/N}\right)^k$ 의 속도로 감쇠됨을 보장한다.
• 불안정성을 탐지하고 안정된 반복값으로 전환함으로써 단조 수렴을 복원하는 적응형 재시작 기반 스위칭 제어기를 도입한다.
• 절대 안정성 이론을 활용해 안정성 및 수렴 성질을 분석함으로써, 이론 결과를 이차 문제에서 강하게 볼凸 문제로 확장한다.
• 제어기는 각 단계에서 후보 반복값 중에서 동적으로 선택함으로써, 가속화를 포기하지 않은 채로 안정성을 확보한다.
• 비볼凸 함수인 라스트리진 함수에 대해서도 적용되었으며, 국소 최소값을 성공적으로 회피하고 전역 최소값 근처로 수렴하는 데 성공했다.

실험 결과

연구 질문

• RQ1 1차 최적화 방법에 $N$-단계 이력을 통합함으로써 강하게 볼凸 함수에 대해 수렴 속도를 크게 향상시킬 수 있는가?
• RQ2 왜 빠른 경사 하강법과 같은 가속화 방법은 안정성이 떨어지는가? 이를 체계적으로 어떻게 해결할 수 있는가?
• RQ3 스위칭 기반 적응형 재시작 메커니즘이 가속화된 수렴 속도를 유지하면서도 단조 수렴을 복원할 수 있는가?
• RQ4 메모리 기반 알고리즘이 다수의 국소 최소값을 가진 비볼凸 함수, 예를 들어 라스트리진 함수에서 어떻게 작동하는가?
• RQ5 로젠브록 바나나 함수와 같은 도전적인 테스트 함수에서 제안된 방법이 기존의 경사 하강법 및 넬더-마드 방법을 얼마나 뛰어나게 성능을 냈는가?

주요 결과

• 알고리즘 $\Sigma_N$ 은 주요 오차 모드에 대해 $\left(1 - \left(\frac{\mu}{L}\right)^{1/N}\right)^k$ 의 수렴 속도를 달성하며, $N \geq 3$ 일 경우 빠른 경사 하강법보다 더 빠르다.
• 로젠브록 바나나 함수에서 $\Sigma_9^{ml}$ 은 $x_0 = (-1,1)$ 에서 43회 반복 내에 함수값 $7.58 \times 10^{-12}$ 를 달성했으며, 넬더-마드 방법이 $1.35 \times 10^{-10}$ 에 도달하기까지 185회 반복을 소요한 것에 비해 뛰어난 성능을 보였다.
• 동일한 로젠브록 사례에서 빠른 경사 하강법는 낮은 안정성으로 인해 발산한 반면, $\Sigma_N^{ml}$ 은 안정적이고 수렴 가능했다.
• 라스트리진 함수의 경우, 유리한 초기 조건에서 별 모양 패턴을 따라 $\Sigma_6^{ml}$ 이 함수값을 $10^{-6}$ 에서 $10^{-8}$ 수준으로 달성했으며, 다른 영역에서는 $10^{-3}$ 에서 $10^{-1}$ 수준에 머물렀다.
• 초기값 $x_0 = (5,5)$ 에서 알고리즘은 463회 반복 내에 $f_{\text{Rast}} = 10^{-6}$ 에 도달했으며, 국소 최소값을 회피하고 전역 최소값 근처로 수렴할 수 있음을 보였다.
• 적응형 재시작 제어기가 성공적으로 단조 수렴을 복원하여, $L$ 이 최소점에서 국소 곡률을 초과하더라도 불안정성이 없이 가속화를 유지할 수 있었다.