[논문 리뷰] A closed loop gradient descent algorithm applied to Rosenbrock's function

Subhransu S. Bhattacharjee, Ian R. Petersen|arXiv (Cornell University)|2021. 08. 29.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 5

한 줄 요약

이 논문은 비볼록 최적화 문제에서 수렴 속도를 가속화하기 위해 피드백 제어를 통해 감쇠를 적응적으로 조정하는 폐쇄 루프 경사 하강 알고리즘인 Whiplash을 제안한다. 현재 속도와 기울기를 바탕으로 비선형 피드백 법칙을 사용해 동적 모멘텀을 조정함으로써, Rosenbrock 함수에서 빠르고 안정적인 수렴을 달성한다. 이는 표준 모멘텀 기반 방법보다 뛰어나며, ADAM 또는 Nesterov 방법보다 훨씬 적은 반복 횟수로 악조건 문제를 해결한다.

ABSTRACT

We introduce a novel adaptive damping technique for an inertial gradient system which finds application as a gradient descent algorithm for unconstrained optimisation. In an example using the non-convex Rosenbrock's function, we show an improvement on existing momentum-based gradient optimisation methods. Also using Lyapunov stability analysis, we demonstrate the performance of the continuous-time version of the algorithm. Using numerical simulations, we consider the performance of its discrete-time counterpart obtained by using the symplectic Euler method of discretisation.

연구 동기 및 목표

• Rosenbrock 함수처럼 스펙트럼 조건 수(κ = 2508)가 매우 높은 악조건 비볼록 문제에서 1차 방법의 열악한 수렴을 해결한다.
• Nesterov, Heavy Ball 등 개방 루프 모멘텀 기반 방법이 부족한 적응 제어로 인해 강성 시스템에서 불안정성이나 느린 수렴을 겪는 한계를 극복한다.
• 감쇠를 피드백 제어 변수로 간주함으로써 제어 이론적 접근을 통해 경사 하강 동역학을 최적화하고, 일시적 응답과 수렴 속도를 향상시킨다.
• 특히 고곡률과 깊은 골짜기가 존재하는 문제에서 개방 루프 모멘텀 대비 폐쇄 루프 제어의 우수성을 연속 및 이산 시간 모두에서 입증한다.
• 연속 시간 시스템에 대해 르아프노프 기반 안정성 분석을 수행하고, 수치 시뮬레이션을 통해 심플렉틱 오일러 이산화를 통해 성능을 검증한다.

제안 방법

• 감쇠 γ(t)를 속도와 기울기의 피드백 함수로 삼는 2차 선형 미분방정식 형태의 연속 시간 관성 시스템을 수립: ¨X + γ(t)˙X + ∇f(X) = 0.
• 비선형 피드백 법칙을 통한 감쇠 설계: αk = 1 − √s − k s ||zk||², 여기서 zk = xk − xk−1는 모멘텀을 나타내며, 현재 상태에 기반한 적응형 감쇠를 가능하게 한다.
• 이니셜라이제이션을 두 단계로 수행: 첫 번째 단계는 초기 모멘텀 z1 = x1 − x0를 설정하기 위해 표준 경사 하강법을 수행한다.
• 기하학적 구조와 안정성을 유지하기 위해 이산 시간 시스템에 대해 심플렉틱 오일러 방법을 사용하여 시간 이산화를 수행한다.
• 학습률이나 모멘텀 감쇠와 같은 하이퍼파rameter가 필요 없는 피드백 루프를 갖는 이산 시간 알고리즘(알고리즘 1)을 구현한다.
• 수렴 분석을 단순화하고 시간 단계 간의 역학 기하학을 유지하기 위해 zk = √s vk−1의 변수 변환을 도입한다.

실험 결과

연구 질문

• RQ1 감쇠에 대한 폐쇄 루프 피드백 메커니즘이 악조건 비볼록 문제에서 경사 하강의 수렴 속도와 안정성 향상에 기여하는가?
• RQ2 현재 속도와 기울기를 기반으로 한 적응형 감쇠는 고정 또는 개방 루프 모멘텀 기반 방법에 비해 수렴 속도와 내성 면에서 어떻게 비교되는가?
• RQ3 심플렉틱 오일러 이산화를 사용할 때, 이산 시간 알고리즘의 성능은 Rosenbrock 함수와 같은 강성 시스템에서 어떻게 되는가?
• RQ4 제안된 폐쇄 루프 시스템의 수렴성을 증명하기 위해 르아프노프 안정성 분석을 적용할 수 있으며, 그 르아프노프 함수의 형태는 어떠한가?
• RQ5 특히 엄격한 수렴 임계값 조건 하에서, ADAM 및 Nesterov 방법보다 Whiplash 알고리즘이 더 빠른 수렴을 달성하는가?

주요 결과

• Whiplash 알고리즘은 (5, -3)과 같은 다양한 초기 조건에 대해 실용적인 반복 횟수 내에 Rosenbrock 함수의 전역 최소값(1,1)에 수렴한다.
• 스텝 사이즈 s ≤ 10⁻⁵일 경우, 불안정성과 모멘텀 폭발을 방지하며, 표준 경사 하강법이 실패하는 상황에서도 수렴을 달성한다.
• 수치 결과는 모멘텀 성장에 포화 현상이 나타남(그림 6)을 보여주며, 진동이나 발산 없이 안정적이고 제어된 수렴임을 시사한다.
• 알고리즘의 궤적(그림 8)은 길고 좁은 골짜기를 따라 매끄럽고 직접적으로 전역 최소값으로 수렴함을 보이며, 국소 최소값과 안장점들을 피한다.
• 수렴 속도 면에서 ADAM 및 Nesterov 방법보다 뛰어나며, ϵ = 10⁻⁸ 정확도에 도달하기 위해 10⁵ 번 이하의 반복 수를 요구한다.
• 심플렉틱 오일러 이산화 방법은 시스템의 기하학적 구조를 유지하여 이산 시간 구현에서 안정적이고 정확한 수치 성능을 보장한다.