[논문 리뷰] First-order Methods for Geodesically Convex Optimization

Hongyi Zhang, Suvrit Sra|arXiv (Cornell University)|2016. 02. 19.

Sparse and Compressive Sensing Techniques참고 문헌 18인용 수 40

한 줄 요약

이 논문은 하다르드 다양체 위에서 기하학적 볼록 최적화에 대한 1차 방법에 대해 처음으로 전역 반복 복잡도 한계를 확립한다. 새로운 곡률 인식 불등식을 도입하고, 매끄럽고, 강한 기하학적 볼록성, 비매끄러운 설정에서 경사 하강법, 확률적 경사, 하위기울기 방법의 수렴 속도를 증명한다. 이는 다양체의 곡률이 수렴 속도에 직접적인 영향을 미친다는 것을 보여준다.

ABSTRACT

Geodesic convexity generalizes the notion of (vector space) convexity to nonlinear metric spaces. But unlike convex optimization, geodesically convex (g-convex) optimization is much less developed. In this paper we contribute to the understanding of g-convex optimization by developing iteration complexity analysis for several first-order algorithms on Hadamard manifolds. Specifically, we prove upper bounds for the global complexity of deterministic and stochastic (sub)gradient methods for optimizing smooth and nonsmooth g-convex functions, both with and without strong g-convexity. Our analysis also reveals how the manifold geometry, especially \emph{sectional curvature}, impacts convergence rates. To the best of our knowledge, our work is the first to provide global complexity analysis for first-order algorithms for general g-convex optimization.

연구 동기 및 목표

• 비선형 리만 다변량에서 기하학적 볼록 최적화에 대한 전역 수렴 속도 분석의 격차를 메우기 위해.
• 이전에 유클리드 공간에 국한되어 있던 1차 알고리즘 복잡도 분석을 비선형 곡률이 비양의 섹션 곡률을 갖는 하다르드 다양체로 확장하기 위해.
• 다양체 기하학, 특히 섹션 곡률이 1차 방법의 수렴 속도에 어떻게 영향을 미치는지 정량화하기 위해.
• 일반적인 기하학적 볼록 최적화에서 결정론적 및 확률적 1차 알고리즘에 대한 첫 번째 종합적인 복잡도 분석을 제공하기 위해.
• 기계학습 및 통계 분야에서 관련된 비유클리드 최적화 설정에서 1차 방법의 적용을 위한 이론적 기초를 마련하기 위해.

제안 방법

• 아르코라프 공간에서 아래로 유계인 곡률을 갖는 데 적용 가능한 새로운 삼각함수 거리 한계를 개발하며, 이는 리만 다양체 및 그 이상의 범위에 적용된다.
• 이 불등식을 하다르드 다양체에서 1차 알고리즘의 행동을 분석하는 데 적용하며, 특히 기하학적 볼록성 하에서의 분석에 초점을 맞춘다.
• 매끄럽고, 비매끄럽고, 강한 기하학적 볼록성 설정 하에서 경사 하강법, 확률적 경사, 하위기울기 방법에 대한 반복 복잡도 상한을 유도한다.
• 지오데식 기반 최적화 도구인 지수 매핑과 재구성(리트랙션)을 사용하여 유클리드 1차 방법을 비선형 다양체로 일반화한다.
• 매끄러움 상수, 강한 볼록성 매개변수, 기울기 분산 추정치에 기반한 스텝 사이즈 규칙을 도입하고, 행렬 카르커 평균 문제를 통해 실증적으로 검증한다.
• 행렬 카르커 평균 계산을 위한 리트랙션 기반 업데이트 규칙을 도입하며, 양의 정부호성을 유지하기 위해 행렬 로그와 지수 함수를 사용한다.

실험 결과

연구 질문

• RQ1 하나의 하다르드 다양체에서 기하학적 볼록 최적화에 대한 1차 방법에 대해 전역 반복 복잡도 한계를 설정할 수 있는가?
• RQ2 리만 다양체의 섹션 곡률이 1차 알고리즘의 수렴 속도에 어떻게 영향을 미치는가?
• RQ3 확률적 1차 방법이 기하학적 볼록 설정에서 복잡도 보장과 함께 전역 수렴을 달성할 수 있는가?
• RQ4 기하학적 볼록 최적화에서 네스테로프 가속 경사 하강법의 비선형 대응체가 존재하는가?
• RQ5 지수 매핑 대신 리트랙션을 사용할 경우, 다양체에서 1차 알고리즘의 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 논문은 하다르드 다양체에서 일반적인 기하학적 볼록 최적화에 대한 1차 방법에 대해 처음으로 전역 반복 복잡도 분석을 제시한다.
• 매끄러운 기하학적 볼록 함수에 대해 고정 스텝 사이즈를 사용하는 경사 하강법는 선형 수렴을 달성하며, 선형 검색이 필요 없이 알려진 결과와 일치한다.
• 매끄러운 함수에 대해 확률적 경사 방법은 수렴 속도가 $ O(1/ frac{1}{2}) $이며, 강한 기하학적 볼록 함수에 대해서는 $ O(1/t) $로, 유클리드 경우와 일치한다.
• 수렴 속도가 다양체의 섹션 곡률에 명시적으로 의존함을 입증하였으며, 비양의 곡률 공간에서는 더 날카운 복잡도 한계를 제공한다.
• 행렬 카르커 평균 문제에 대한 실증 결과는 전체 경사 하강법에서 선형 수렴과 확률적 변형에서의 하위선형 수렴 속도를 확인하며, 이는 이론적 한계를 검증한다.
• 실험에서 매끄러움 상수의 추정치 $ 5N $ 가 항상 수렴을 보장함을 확인하였으며, 이는 실세계 응용에 적합한 스텝 사이즈 선택 규칙을 제안한다.