[논문 리뷰] Optimization algorithms inspired by the geometry of dissipative systems

Alessandro Bravetti, Maria L. Daza–Torres외 2명|arXiv (Cornell University)|2019. 12. 06.

Model Reduction and Neural Networks참고 문헌 24인용 수 5

한 줄 요약

이 논문은 접촉 미분기하학적 역학계에서 유도된 최적화 알고리즘을 소개한다. 이러한 방법은 최적화 과정에서 에너지 소산을 자연스럽게 모델링한다. 구조를 유지하는 기하 접촉 적분기법을 사용함으로써, 오рак루 하한선에 도달하는 가속화된 수렴 속도를 달성하면서도 이전의 기하적 접근법보다 수치적 안정성을 향상시킨다.

ABSTRACT

Accelerated gradient methods are a powerful optimization tool in machine learning and statistics but their development has traditionally been driven by heuristic motivations. Recent research, however, has demonstrated that these methods can be derived as discretizations of dynamical systems, which in turn has provided a basis for more systematic investigations, especially into the structure of those dynamical systems and their structure-preserving discretizations. In this work we introduce dynamical systems defined through a contact geometry which are not only naturally suited to the optimization goal but also subsume all previous methods based on geometric dynamical systems. These contact dynamical systems also admit a natural, robust discretization through geometric contact integrators. We illustrate these features in paradigmatic examples which show that we can indeed obtain optimization algorithms that achieve oracle lower bounds on convergence rates while also improving on previous proposals in terms of stability.

연구 동기 및 목표

• 히우리스틱 도출을 넘어서 체계적인 기하학적 프레임워크를 개발하여 가속화된 최적화 방법을 유도하는 것.
• 기존의 가속화된 경사 하강법에서의 불안정성과 이론적 기반의 부족을 해결하는 것.
• 이전의 기하 최적화 접근법들을 하나의 더 일반적인 역학계 프레임워크로 통합하는 것.
• 연속 시스템의 물리적 및 기하적 성질을 유지하는 강력한, 구조를 유지하는 이산화 방법을 설계하는 것.
• 최적화 이론에서의 오라클 하한선에 도달하는 수렴 속도를 달성하는 것.

제안 방법

• 논문은 최적화를 접촉 기하학에 의해 지배되는 연속 역학계로 공식화하여, 에너지 소산을 자연스럽게 모델링한다.
• 이전의 모든 기하 최적화 모델을 일반화하고 포함하는 접촉 역학계의 일군의 클래스를 도입한다.
• 이 시스템은 연속 역학의 기하적 구조를 유지하는 기하 접촉 적분기법을 사용하여 이산화된다.
• 이 적분기법들은 수치적 편향 조건에서도 안정적이고 강건함을 입증한다.
• 수렴 성능을 검증하기 위해 대표적인 최적화 문제에 적용된다.
• 이론적 분석을 통해 유도된 알고리즘이 최적의 수렴 속도를 달성함을 확인한다.

실험 결과

연구 질문

• RQ1 통합된 기하 프레임워크를 개발하여 가속화된 최적화 알고리즘을 체계적으로 유도할 수 있는가?
• RQ2 역학계의 구조 유지 성질을 어떻게 활용하여 알고리즘의 안정성을 향상시킬 수 있는가?
• RQ3 접촉 기하학적 시스템은 최적화에서 최적의 수렴 속도를 자연스럽게 지원하는가?
• RQ4 기하 접촉 적분기법은 표준 이산화 방법보다 강건성 면에서 뛰어나게 작용할 수 있는가?
• RQ5 기하학적으로 유도된 접근법을 통해 오라클 하한선 수준의 수렴 속도를 달성할 수 있는가?

주요 결과

• 제안된 접촉 역학계는 해밀턴계나 경사하강계에 기반한 이전의 모든 기하 최적화 모델을 일반화하고 포함한다.
• 기하 접촉 적분기법은 연속 시스템의 안정적이고 강건한 이산화를 제공하며, 핵심 물리적 및 기하적 성질을 유지한다.
• 유도된 최적화 알고리즘은 이론적 오라클 하한선에 도달하는 수렴 속도를 달성한다.
• 수치적 안정성과 수렴 강건성 면에서 이전의 기하적 접근법보다 향상된 성능을 보인다.
• 대표적인 예제에 대한 실험적 검증을 통해 이론적 주장이 확인되었으며, 뛰어난 성능을 입증한다.
• 이 프레임워크는 가속화된 최적화 알고리즘 설계를 위한 원칙적이고 기하학적인 기반을 제공한다.