[논문 리뷰] Acceleration via Symplectic Discretization of High-Resolution Differential Equations

Bin Shi, Simon S. Du외 2명|arXiv (Cornell University)|2019. 02. 11.

Stochastic Gradient Optimization Techniques참고 문헌 15인용 수 44

한 줄 요약

이 논문은 네스테로프의 가속 방법과 폴릭의 헤비-볼 방법을 위한 고해상도 ODE를 이산화하여 1차 최적화를 연구하고, 심플릭 이산화가 강하게 볼록 및 볼록 목적에 대해 가속 속도를 얻는 반면 명시적 또는 저해상도 이산화는 그렇지 않음을 보인다.

ABSTRACT

We study first-order optimization methods obtained by discretizing ordinary differential equations (ODEs) corresponding to Nesterov's accelerated gradient methods (NAGs) and Polyak's heavy-ball method. We consider three discretization schemes: an explicit Euler scheme, an implicit Euler scheme, and a symplectic scheme. We show that the optimization algorithm generated by applying the symplectic scheme to a high-resolution ODE proposed by Shi et al. [2018] achieves an accelerated rate for minimizing smooth strongly convex functions. On the other hand, the resulting algorithm either fails to achieve acceleration or is impractical when the scheme is implicit, the ODE is low-resolution, or the scheme is explicit.

연구 동기 및 목표

• 고해상도 ODE를 이산화하여 가속되는 1차 최적화 메서드를 얻을 수 있는지 동기 부여하고 분석한다.
• 고해상도 및 저해상도 ODE에서 세 가지 간단한 이산화 스킴(심플릭 에울러, 명시적 에울러, 암시적 에울러)을 비교한다.
• Lyapunov 기반 해석을 사용하여 이산화에서 가속이 보존되거나 소실되는 시점을 규명한다.
• 안정적이고 가속된 이산화를 가능하게 하는 고해상도 ODE와 그래디언트 보정 항의 역할을 밝힌다.

제안 방법

• 세 가지 스킴(S: 심플릭 이온/심플릭 Euler, E: 명시적 Euler, I: 암시적 Euler)을 사용하여 NAG-C, NAG-SC, 헤비-볼의 고해상도 ODE를 이산화하여 가속 방법을 모델링한다.
• ODE의 위상공간 형식을 이용하고 각 스킴(S), E, I에 대한 이산 업데이트 규칙을 도출한다.
• 이산 스킴에 대한 수렴 속도를 얻기 위해 Lyapunov 함수 해석을 적용한다.
• 고해상도 ODE(NAG-SC, NAG-C)와 저해상도 ODE(헤비-볼) 간의 가속 동작을 비교한다.
• 심플릭 이산화가 고해상도 ODE의 가속을 보존함을 보이고, 명시적/암시적 스킴은 한계를 보임을 보여준다.

실험 결과

연구 질문

• RQ1 고해상도 ODE를 이산화하여 NAG-SC와 NAG-C의 가속 특성이 보존되는지 여부를 심플릭 에울러 이산화가 보존하는가?
• RQ2 명시적 또는 암시적 에uler 이산화가 가속을 달성하는가, 그리고 어떤 조건에서 실용적인가?
• RQ3 고해상도 ODE의 이산화와 저해상도 ODE(예: 헤비-볼)의 이산화가 가속 달성에 있어 어떤 차이를 보이는가?
• RQ4 이 이산화들에 대한 디스토션에서 Lyapunov 함수가 이산 시 가속 결과를 증명하는 데 어떤 역할을 하는가?
• RQ5 고해상도 ODE와 시뮬릭 스킴이 새로운 가속 최적화 알고리즘 설계에 어떤 시사점을 주는가?

주요 결과

• 고해상도 NAG-SC ODE의 심플릭 에울러 이산화는 f(x_k)−f(x*) ≤ O(1)/(1+O(1)√(μ/L))^k 와 같은 속도 한계를 갖는 가속을 달성한다.
• 고해상도 NAG-SC ODE의 명시적 에울러 이산화는 가속을 달성하는 데 실패하지만 구현은 단순하다.
• 암시적 에울러 이산화는 가속을 달성하나 일반적으로 특수한 경우(예: 2차 목적함수)에서만 비실용적이다.
• 저해상도 헤비-볼 ODE를 어떤 Euler 스킴으로 이산화해도 가속을 얻지 못하므로, 가속을 위해서는 고해상도 ODE의 중요성이 강조된다.
• 볼록 함수의 경우에도 시뮬릭 이산화가 다른 두 스킴에 비해 우수한 속도를 보이며, 고해상도 설정에서 그래디언트 보정의 역할을 강조한다.
• 논문은 고해상도 ODE와 시뮬릭 이산화가 안정적이고 큰 보폭의 가속 이산-시간 방법을 가능하게 한다고 강조한다.