[논문 리뷰] The Physical Systems Behind Optimization Algorithms

Lin F. Yang, Raman Arora외 2명|arXiv (Cornell University)|2018. 01. 01.

Stochastic Gradient Optimization Techniques인용 수 7

한 줄 요약

이 논문은 미분방정식을 사용하여 경사하강법, 뉴턴 방법 및 그 네스테로프 가속 버전과 같은 최적화 알고리즘을 분석하기 위한 통합된 물리계의 프레임워크를 제안한다. 이러한 알고리즘을 물리 법칙에 따라 지배되는 동역학계로 모델링함으로써, 폴랴크-요샤에비치 조건과 오차 경계 조건과 같은 일반적인 조건 하에서 강凸성 이외의 상황에서도 수렴 행동에 대한 새로운 통찰을 제공한다.

ABSTRACT

We use differential equations based approaches to provide some {\it extbf{physics}} insights into analyzing the dynamics of popular optimization algorithms in machine learning. In particular, we study gradient descent, proximal gradient descent, coordinate gradient descent, proximal coordinate gradient, and Newton's methods as well as their Nesterov's accelerated variants in a unified framework motivated by a natural connection of optimization algorithms to physical systems. Our analysis is applicable to more general algorithms and optimization problems {\it extbf{beyond}} convexity and strong convexity, e.g. Polyak-\L ojasiewicz and error bound conditions (possibly nonconvex).

연구 동기 및 목표

• 최적화 알고리즘의 분석을 물리계의 관점에서 통합하여 보다 깊은 역학적 통찰을 제공한다.
• 강凸성 및 강강凸성 설정을 넘어서 폴랴크-요샤에비치 및 오차 경계와 같은 더 일반적인 조건으로 수렴 분석을 확장한다.
• 표준 및 가속 버전(예: 네스테로프의 방법)의 행동을 일관되고 물리적으로 구동된 방식으로 포괄하는 프레임워크를 제공한다.
• 최적화 역학을 연속시간 미분방정식으로 모델링하여 물리적 운동을 반영함으로써 안정성 및 수렴 분석이 가능하도록 한다.

제안 방법

• 뉴턴 역학을 영감으로 삼아, 두 번째 차수의 상미분방정식(ODE)을 사용하여 최적화 알고리즘을 연속시간 동역학계로 모델링한다.
• 경사하강법과 그 변종을 질량, 진동수 감쇠 및 위치 에너지로 구성된 시스템으로 기술하며, 목적 함수가 위치 에너지의 경관을 정의한다.
• 기계적 에너지(운동 에너지 + 위치 에너지)의 개념을 사용하여 수렴을 분석하고, 에너지 감쇠가 알고리즘의 진행을 나타낸다.
• 폴랴크-요샤에비치 부등식과 오차 경계와 같은 조건을 활용하여 비강凸 목적 함수를 수용할 수 있는 일반화된 프레임워크를 도입한다.
• 강한 강凸성 조건을 회피하기 위해 점점 더 약한 가정 하에서 수렴을 증명하기 위해 渐近 안정성과 리아푸노프 분석을 적용한다.
• 모멘텀 항에 특정한 감쇠 및 질량 스케일링을 포함시켜 네스테로프 가속의 연속시간 해석을 유도한다.

실험 결과

연구 질문

• RQ1 최적화 알고리즘은 어떻게 미분방정식에 의해 지배되는 물리적 동역학계로 체계적으로 해석될 수 있는가?
• RQ2 표준 및 가속 최적화 방법(예: 네스테로프의 방법)의 수렴을 뒷받침하는 물리 원리는 무엇인가?
• RQ3 폴랴크-요샤에비치 부등식과 같은 약한 조건 하에서 이 프레임워크는 비강凸 최적화 문제를 어느 정도 분석할 수 있는가?
• RQ4 물리계에서의 에너지 감쇠는 해당 최적화 알고리즘의 수렴 속도와 어떻게 관련이 있는가?
• RQ5 이 프레임워크는 좌표 강하, 프록시멀 방법, 뉴턴 유형 방법과 같은 다양한 알고리즘의 분석을 통합할 수 있는가?

주요 결과

• 이 프레임워크는 질량, 감쇠, 힘의 물리적 해석을 갖는 두 번째 차수 ODE로 경사하강법과 그 가속 버전을 성공적으로 모델링하여 통합된 역학적 해석을 가능하게 한다.
• 폴랴크-요샤에비치 조건과 오차 경계 가정 하에서 수렴이 확립되어 강강凸성 이외의 결과로 확장된다.
• 물리계에서의 에너지 감쇠율은 최적화 알고리즘의 수렴 속도와 직접적인 연관이 있으며, 물리적 행동과 알고리즘 행동 간의 직접적 연결을 제공한다.
• 네스테로프의 가속은 최적 감쇠를 갖는 과도 감쇠 진동의 한 형태로 자연스럽게 설명되며, 물리 모델에서 유도된다.
• 이 접근법은 프록시멀 및 좌표 강하 방법도 동일한 물리적 프레임워크에 포함됨을 드러내어 공통된 역학적 기원을 시사한다.
• 분석은 물리적 직관과 ODE 안정성 분석을 통해 새로운 최적화 알고리즘 변종을 유도하고 이해하는 체계적인 방법을 제공한다.