[논문 리뷰] Towards Riemannian Accelerated Gradient Methods

Hongyi Zhang, Suvrit Sra|arXiv (Cornell University)|2018. 06. 07.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 33

한 줄 요약

이 논문은 최소화점 주변에서 지오데식적으로 스무스하고 강하게 볼록한 최적화 문제에 대해 가속화된 수렴 속도를 달성하는 계산적으로 구현 가능한 리만형 가속화 경사하강법(Ragd)을 제안한다. 이 방법은 비선형 거리 왜곡을 제한하기 위해 새로운 추정 수열과 탄성 공간 거리 비교 정리를 활용하며, 조건수와 단면 곡률에 따라 수렴 속도가 결정된다.

ABSTRACT

We propose a Riemannian version of Nesterov's Accelerated Gradient algorithm (RAGD), and show that for geodesically smooth and strongly convex problems, within a neighborhood of the minimizer whose radius depends on the condition number as well as the sectional curvature of the manifold, RAGD converges to the minimizer with acceleration. Unlike the algorithm in (Liu et al., 2017) that requires the exact solution to a nonlinear equation which in turn may be intractable, our algorithm is constructive and computationally tractable. Our proof exploits a new estimate sequence and a novel bound on the nonlinear metric distortion, both ideas may be of independent interest.

연구 동기 및 목표

• 비선형 리만기하학에 적합한 수정된 추정 수열을 사용하여, 계산적으로 실행 가능한 네스테로프의 가속화 경사하강법의 리만형 일반화를 개발한다.
• 지오데식적으로 스무스하고 강하게 볼록한 문제에 대해 리만다이브 곡면에서 국소 수렴을 가속화할 수 있도록 한다.
• 비선형 거리 왜곡 문제를 새로운 분석 도구를 통해 극복한다.
• 선형적 구조가 없는 비유클리드 공간에서도 가속화가 가능할 조건을 규명한다.
• 이전 연구의 가정을 완화하고 행렬 다각도에 대해 실행 가능한 지수 매핑을 갖는다.

제안 방법

• 비선형 리만기하학에 맞게 조정된 수정된 추정 수열을 사용하는 리만형 가속화 경사하강 알고리즘(Ragd)을 제안한다.
• 지오데식 거리와 그 탄성 공간 내 유클리드 근사 간의 거리 왜곡을 제한하기 위해 탄성 공간 거리 비교 정리를 도입한다.
• 상수 단계 크기 전략을 사용하며, $ h = \frac{1}{L} $, $ \beta = \frac{1}{5}\sqrt{\frac{\mu}{L}} $로 설정하여 최소화점 주변에서 수렴을 보장한다.
• 곡률에 의해 유도되는 왜곡을 고려한 새로운 추정 수열을 활용하여, 네스테로프 원래의 구성에서의 가정을 완화한다.
• 다양한 행렬 다각도에서 실행 가능한 리만형 경사하강, 지수 매핑 및 그 역함수의 계산 가능성에 의존한다.
• 귀납법과 곡률에 의존하는 경계를 사용하여 비교 부등식 (8)이 매 반복마다 성립하도록 보장함으로써 수렴 증명을 가능하게 한다.

실험 결과

연구 질문

• RQ1 선형적 구조가 없는 상황에서 리만형 최적화에서 네스테로프 스타일의 가속화가 가능할 수 있는가?
• RQ2 매 단계에서 해결하기 어려운 비선형 방정식을 피하는 계산적으로 실행 가능한 리만형 가속화 경사하강법을 구축할 수 있는가?
• RQ3 조건수와 곡률에 어떤 조건이 성립하면 리만다이브 곡면에서 국소 가속화가 보장되는가?
• RQ4 비유클리드 기하학을 고려한 1차 최적화에서 새로운 추정 수열과 거리 왜곡의 경계를 개발할 수 있는가?
• RQ5 리만형 기하학의 비선형성은 전역 가속화를 본질적으로 방해하는가, 아니면 국소 가속화는 달성 가능한가?

주요 결과

• 제안된 Ragd 알고리즘은 지오데식적으로 스무스하고 강하게 볼록한 문제에 대해 국소적으로 수렴 속도 $ \left(1 - \frac{9}{10}\sqrt{\frac{\mu}{L}}\right)^k $ 를 달성한다.
• 수렴은 최소화점 주변의 이웃 $ \mathcal{B}_{x^*, D} $ 내에서 보장되며, 반지름 $ D = \frac{1}{20\sqrt{K}}\left(\frac{\mu}{L}\right)^{\frac{3}{4}} $ 는 조건수와 단면 곡률에 따라 달라진다.
• 분석 과정에서 리만다이브 곡면에서의 거리 왜곡을 다룰 수 있는 새로운 추정 수열이 도입되어, 기존 네스테로프 방법의 가정을 완화한다.
• 탄성 공간 거리 비교 정리는 비선형 거리 왜곡을 제한할 수 있는 충분한 조건을 제공하며, 주요 기술적 기여이다.
• 이전 연구(예: Liu 등, 2017)와 달리 해결하기 어려운 비선형 방정식을 피함으로써, 이 방법은 행렬 다각도에서 실용적으로 구현 가능하다.
• 측도 $ d(y_k, v_{k+1}) $ 는 $ d(y_k, x^*) $ 보다 더 빠르게 증가할 수 있으며, 이는 비선형 공간에서 거리 왜곡의 전역 제어가 본질적으로 어려움을 시사한다.