[논문 리뷰] A general system of differential equations to model first order adaptive algorithms

André Belotto da Silva, Maxime Gazeau|arXiv (Cornell University)|2018. 10. 31.

Advanced Optimization Algorithms Research참고 문헌 47인용 수 13

한 줄 요약

이 논문은 딥러닝에서 사용되는 Adam, RMSProp, 네스테로프 방법과 같은 1차 적응형 최적화 알고리즘을 모델링하는 일반적인 연속시간 미분방정식 시스템을 제안한다. 이 시스템의 수렴 성질을 분석함으로써, 궤적이 임계점으로 수렴하고 안장점과 국소 최대점에서 수렴을 피하며, 볼록 및 비볼록 설정에서 수렴 속도를 도출하는 조건을 확립한다. 이는 적응형 방법의 행동에 대한 이론적 통찰을 제공한다.

ABSTRACT

First order optimization algorithms play a major role in large scale machine learning. A new class of methods, called adaptive algorithms, were recently introduced to adjust iteratively the learning rate for each coordinate. Despite great practical success in deep learning, their behavior and performance on more general loss functions are not well understood. In this paper, we derive a non-autonomous system of differential equations, which is the continuous time limit of adaptive optimization methods. We prove global well-posedness of the system and we investigate the numerical time convergence of its forward Euler approximation. We study, furthermore, the convergence of its trajectories and give conditions under which the differential system, underlying all adaptive algorithms, is suitable for optimization. We discuss convergence to a critical point in the non-convex case and give conditions for the dynamics to avoid saddle points and local maxima. For convex and deterministic loss function, we introduce a suitable Lyapunov functional which allow us to study its rate of convergence. Several other properties of both the continuous and discrete systems are briefly discussed. The differential system studied in the paper is general enough to encompass many other classical algorithms (such as Heavy ball and Nesterov's accelerated method) and allow us to recover several known results for these algorithms.

연구 동기 및 목표

• 딥러닝에서 사용되는 1차 적응형 최적화 알고리즘을 분석하기 위한 통합된 연속시간 프레임워크를 개발하기 위해.
• 특히 비볼록 및 볼록 설정에서 경험적 성공을 넘어서 적응형 알고리즘의 수렴 행동을 이해하기 위해.
• 수렴을 보장하고 안장점 또는 국소 최대점으로의 수렴을 피하기 위한 하이퍼파rameter 조건을 규명하기 위해.
• 리아푸노프 함수얼을 사용하여 볼록 손실 함수에 대해 수렴 속도를 유도하고, 적응형 방법과 경사하강법을 비교하기 위해.
• 연속시간 근사에서의 분석을 통해 적응형 알고리즘의 설계 및 튜닝에 대한 이론적 지침을 제공하기 위해.

제안 방법

• 이산적 적응형 최적화 알고리즘의 연속시간 근사로 비자기적 상미분방정식(ODE) 시스템을 제안한다.
• 일반적인 ODE 시스템 (2.1)을 유도하여, 아담 및 네스테로프 방법을 포함한 광범위한 1차 방법의 전진 오일러 이산화와 일치시킨다.
• ODE 궤적의 수렴성과 안정성을 분석하기 위해 리아푸노프 함수얼 (2.4) 및 그 일반화된 형태 (E.2)를 도입한다.
• 시간에 따라 변화하는 계수를 가진 에너지 방법을 적용하여 수렴을 위한 충분조건을 도출하며, 보조 함수 A(t), B(t), C(t)에 대한 부등식 (E.6) 및 (E.7)을 포함한다.
• 미적분의 기본정리와 노름의 경계를 사용하여 목적 함수 값의 수렴 속도 추정치를 도출한다.
• 특정 매개변수 설정 하에서 ODE 시스템과 고전적 가속화 방법(예: 헤비볼, 네스테로프) 간의 등가성을 확립한다.

실험 결과

연구 질문

• RQ1 비볼록 설정에서 적응형 알고리즘을 모델링하는 연속시간 ODE 시스템이 임계점으로 수렴하기 위한 조건은 무엇인가?
• RQ2 비볼록 최적화에서 궤적이 안장점 또는 국소 최대점으로 수렴하는 것을 방지하기 위한 조건은 무엇인가?
• RQ3 볼록 손실 함수에 대해 적응형 알고리즘의 수렴 속도는 표준 경사하강법과 어떻게 비교되는가?
• RQ4 연속시간 ODE 프레임워크는 네스테로프 방법과 같은 고전적 가속화 방법의 알려진 수렴 결과를 복원할 수 있는가?
• RQ5 ODE 시스템에서 어떤 하이퍼파rameter 설정이 최적화 궤적의 안정적이고 수렴 가능한 행동을 보장하는가?

주요 결과

• 비볼록 설정에서 조건이 약간만 필요한 경우에도 연속시간 ODE 시스템 (2.1)이 손실 함수의 임계점 집합으로 수렴함을 보장한다.
• 안장점과 국소 최대점으로의 수렴을 피하기 위한 충분조건이 유도되었으며, 이는 ODE의 구조와 시간에 따라 변화하는 계수의 선택에 기반한다.
• 볼록 손실 함수에 대해 특정 매개변수 설정 하에서 리아푸노프 함수얼을 구성하여 목적 함수 값이 최소값으로 수렴함을 증명하며, 수렴 속도는 o(1/t^{2r/3})이다.
• 표준 하이퍼파rameter 설정 하에서, 비볼록 설정에서의 수렴 속도는 표준 경사하강법에 비해 적응형 방법이 떨어지며, 일반적인 직관과는 반대된다.
• 적절한 매개변수 조정을 통해 고전적 방법(예: 네스테로프 가속화 방법, 헤비볼)의 알려진 수렴 결과가 이 프레임워크에서 복원됨을 보였다.
• 일반화된 에너지 함수얼은 표준 함수얼이 실패하는 경우, 특히 0 < r < 3 인 네스테로프 방법에 대해 수렴 속도 분석을 가능하게 한다.