[논문 리뷰] On Symplectic Optimization

Michael Betancourt, Michael I. Jordan외 1명|arXiv (Cornell University)|2018. 02. 10.

Model Reduction and Neural Networks참고 문헌 10인용 수 41

한 줄 요약

이 논문은 symplectic integration을 통해 Bregman dynamics를 이산화하는 원리적인 파이프라인을 개발하여, 전통적 이산화 방식에 비해 oracle-rate 수렴 및 안정성 이점을 가진 가속 경사 방법을 제시한다.

ABSTRACT

Accelerated gradient methods have had significant impact in machine learning -- in particular the theoretical side of machine learning -- due to their ability to achieve oracle lower bounds. But their heuristic construction has hindered their full integration into the practical machine-learning algorithmic toolbox, and has limited their scope. In this paper we build on recent work which casts acceleration as a phenomenon best explained in continuous time, and we augment that picture by providing a systematic methodology for converting continuous-time dynamics into discrete-time algorithms while retaining oracle rates. Our framework is based on ideas from Hamiltonian dynamical systems and symplectic integration. These ideas have had major impact in many areas in applied mathematics, but have not yet been seen to have a relationship with optimization.

연구 동기 및 목표

• 최적화에서의 가속의 동기 부여 및 그것의 연속시간 다이나믹스와의 연계.
• oracle 속도를 보존하면서 연속시간 가속을 이산화하는 체계적인 방법 제시.
• Hamiltonian 및 symplectic 적분을 활용하여 생성적 최적화 프레임워크를 도출.
• 연속시간 가속을 반영하는 실용적이고 안정적인 이산화를 제시.
• 다양체 설정 및 확률적 목표에 대한 확장성과 함의를 탐구.

제안 방법

• 최적화를 시간에 따라 변하는 운동 에너지와 위치에너지로 가지는 Bregman Lagrangian 시스템으로 모델링.
• Legendre 변환을 수행하여 Bregman Hamiltonian을 얻고 자율 확장 시스템으로 올린다.
• Hamiltonian 분할에 의해 대칭적 leapfrog(확장된) leapfrog 적분기를 구성하여 대칭성을 보존한다.
• 자율적이고 구조 보존적인 적분을 가능하게 하기 위해 시간 증가(확장된) 위상 공간을 적용한다.
• 구체적인 업데이트 규칙을 도출하고 일반화된 Nesterov 이산화와 비교한다.
• 최소 근처의 지수 수렴을 분석하기 위해 그라디언트 흐름 항을 선택적으로 추가한다.

실험 결과

연구 질문

• RQ1 연속시간 가속 다이내믹스를 이산 시간 알고리즘에서도 oracle-rate 수렴을 유지하도록 이산화하는 방법은 무엇인가?
• RQ2 확장된 Hamiltonian 프레임워크를 통한 symplectic 적분이 안정적이고 효율적인 가속 최적화 방법을 제공할 수 있는가?
• RQ3 시스템적 최적화와 기존의 이산 시간 가속 방법(예: 일반화된 Nesterov 이산화) 사이의 성능 및 안정성 트레이드오프는 무엇인가?

주요 결과

• Symplectic 최적화는 테스트된 문제에서 일반화된 Nesterov 이산화와 유사한 수렴 속도를 달성합니다(실험에서 대략 O(t^-2.95)).
• 확장된 leapfrog 적분기가 동적 대칭성을 보존하고 일부 이산화보다 더 큰 안정적 스텝 크기를 허용하여 반복 수와 계산량을 줄입니다.
• 해당 설정에서 symplectic 접근법은 이산 시간의 oracle 속도를 맞추면서도 한 반복당 필요한 그래디언트 평가 수를 줄입니다.
• 그라디언트-플로우 항의 도입은 2차 목표에서 최소점 근처의 지수 수렴을 회복할 수 있지만, 이는 기본적인 Hamiltonian 대칭성을 변경합니다.
• 확률적 목표는 symplectic 방법에 다르게 영향을 미칠 수 있어 역오차 및 동역학적 관점으로의 추가 분석이 필요합니다.