[논문 리뷰] Optimization on manifolds: A symplectic approach

Guilherme França, Alessandro Barp외 2명|arXiv (Cornell University)|2021. 07. 23.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 비틀림형, 기하학적 프레임워크를 도입하여 다양체 위에서의 최적화를 위해 딜라크의 제약이 있는 해밀턴 시스템의 소산성 확장 기반으로 제안한다. 이는 연속 시간 수렴 속도를 유지하는 새로운 소산성 RATTLE 적분기법을 제안하며, 비선형 제약 조건과 리 군 문제를 포함한 매끄러운 다양체 위의 제약 최적화 문제에서 최적 국소 수렴 속도를 달성한다. 기존 리만 기하학적 경사 하강법에 비해 우수한 안정성과 확장성 확보.

ABSTRACT

Optimization tasks are crucial in statistical machine learning. Recently, there has been great interest in leveraging tools from dynamical systems to derive accelerated and robust optimization methods via suitable discretizations of continuous-time systems. However, these ideas have mostly been limited to Euclidean spaces and unconstrained settings, or to Riemannian gradient flows. In this work, we propose a dissipative extension of Dirac's theory of constrained Hamiltonian systems as a general framework for solving optimization problems over smooth manifolds, including problems with nonlinear constraints. We develop geometric/symplectic numerical integrators on manifolds that are "rate-matching," i.e., preserve the continuous-time rates of convergence. In particular, we introduce a dissipative RATTLE integrator able to achieve optimal convergence rate locally. Our class of (accelerated) algorithms are not only simple and efficient but also applicable to a broad range of contexts.

연구 동기 및 목표

• 유클리드 또는 비제약 조건이 아닌 일반적인 설정을 초월하여 매끄러운 다양체 위의 제약 최적화를 위한 기하학적 프레임워크를 개발하는 것.
• 소산성을 포함한 딜라크의 제약 해밀턴 시스템 이론을 확장하여 다양체 위의 가속화된 역학을 모델링하는 것.
• 기하학적/심플렉틱적 수치 적분기법을 설계하여 연속 시간 역학 시스템의 수렴 속도를 유지하는 것.
• 비선형 등식 및 부등식 제약 조건이 있는 다양체 위의 최적화 문제에서 최적 국소 수렴 속도를 달성하는 것.
• 특히 큰 규모 문제인 직교 프로크루스테스 문제 및 SSK 문제와 같은 경우에 리만 기하학적 경사 하강법에 비해 우수한 안정성과 확장성 확보

제안 방법

• 소산성 확장을 포함한 딜라크의 제약 해밀턴 시스템 이론을 다양체 위의 최적화를 위한 연속 시간 역학으로 공식화한다.
• 연속 시스템의 심플렉틱 구조와 속도 일치 성질을 유지하는 기하학적 적분기인 소산성 RATTLE를 제안한다.
• 코탄젠트 번들의 해밀턴 형식을 통해 제약 최적화를 적용하여 내재적인 기하학적 일관성을 보장한다.
• 예심플렉틱 적분기 프레임워크를 사용하여 다양체 위의 소산성 기하선 방정식을 유도함으로써 안정적이고 효율적인 수치 적분을 가능하게 한다.
• 군의 구조를 유지하고 투영 오차를 피하기 위해 소산성 리프플로그 적분기를 사용하여 리 군에 적용한다.
• 그림자 효과를 활용하여 이산 역학의 장기적 안정성과 진짜 해로의 수렴성을 정당화한다.

실험 결과

연구 질문

• RQ1 다양체 위에서 연속 시간 소산성 해밀턴 시스템의 수렴 속도를 유지할 수 있는 심플렉틱적 기하학적 적분기를 설계할 수 있는가?
• RQ2 디라크의 제약 해밀턴 시스템 이론을 소산성으로 확장하여 비선형 제약 조건이 있는 다양체 위의 가속 최적화를 모델링할 수 있는가?
• RQ3 소산성 RATTLE 적분기가 다양체 위의 제약 최적화 문제에서 최적 국소 수렴 속도를 달성하는 데 어떤 역할을 하는가?
• RQ4 특히 직교 프로크루스테스 문제와 같은 큰 규모 문제에서, 제안된 방법이 리만 기하학적 경사 하강법에 비해 안정성과 확장성 면에서 어떻게 우월한가?
• RQ5 등식 및 부등식 제약 조건을 동시에 다룰 수 있도록 이 프레임워크를 일반화할 수 있으며, 기하학적 일관성과 수렴 보장을 유지할 수 있는가?

주요 결과

• 소산성 RATTLE 적분기는 제약 조건이 있는 다양체 위의 최적화에서 연속 시간 역학과 일치하는 최적 국소 수렴 속도를 달성한다.
• 특히 큰 문제 크기(n=1000)에서 리만 기하학적 경사 하강법에 비해 우수한 안정성과 확장성을 보이며, 알고리즘 1(DissRATTLE)은 동일한 스텝 사이즈에서도 안정적으로 유지되나, 알고리즘 3(DissLeapfrogLie)는 발산하였다.
• 직교 프로크루스테스 문제에서는 리만 기하학적 경사 하강법보다 훨씬 적은 반복 횟수로 수렴하였으며, n=100일 때 반복 횟수는 100배 감소하였다.
• 경사 하강법보다 더 큰 스텝 사이즈를 허용하여 더 빠른 수렴이 가능하다. 예를 들어, α=0.95이고 h=Cλmax(M)일 때, 스텝 사이즈를 최적화하면 그림에 나타난 것보다 더 빠른 수렴이 이루어졌다.
• 몬테카를로 결과는 n=100 문제에서 100회의 시행 전반에 걸쳐 제안된 방법이 더 적은 반복 횟수로 수렴하고, 상대 오차 ≈10⁻⁸의 높은 정확도를 달성함을 보여주었다.
• 그림 9의 히트맵은 α와 스텝 사이즈의 변화에 대해 매우 강건하며, 다양한 값 범위에서 낮은 상대 오차를 유지함을 확인하였다.