[논문 리뷰] Nonconvex stochastic optimization on manifolds via Riemannian Frank-Wolfe methods.

Melanie Weber, Suvrit Sra|arXiv (Cornell University)|2019. 10. 09.

3D Shape Modeling and Analysis참고 문헌 16인용 수 6

한 줄 요약

이 논문은 다양체 위에서 비볼록 및 지오데식 볼록 최적화를 위한 확률적 리만 프랭크-울프 방법을 소개하며, 투영 자유 업데이트와 리만 적응형 스파이어 기법을 통한 분산 감소를 활용한다. 수렴 속도는 최선의 유클리드 대응체들과 유사하며, 카르커 평균과 워셔스타인 바리센터 계산에서 최신 기술 수준의 경험적 성능을 보여준다.

ABSTRACT

We study stochastic projection-free methods for constrained optimization of smooth functions on Riemannian manifolds (where there are additional constraints beyond the parameter domain being a manifold). Specifically, we introduce stochastic Riemannian Frank-Wolfe methods for both nonconvex and geodesically convex problems. We present algorithms for both stochastic optimization and finite-sum problems. For the latter, we develop variance reduced methods, including a Riemannian adaptation of the recently proposed Spider technique. For all settings, we recover convergence rates that are comparable to the best-known rates for their Euclidean counterparts. Finally, we discuss applications to two basic tasks: computation of the Karcher mean and Wasserstein barycenters for multivariate normal distributions. For both tasks, stochastic Fw methods yield state-of-the-art empirical performance.

연구 동기 및 목표

• 비볼록 및 지오데식 볼록 목적이 있는 리만 다양체 위에서 제약 조건이 있는 매끄러운 최적화를 위한 확률적이고 투영 자유 최적화 방법을 개발한다.
• 특히 스파이어 기법을 리만 설정으로 확장하여 유한합 문제에 대한 분산 감소 기법을 확장한다.
• 비볼록 및 유한합 최적화 모두에서 유클리드 설정에서 알려진 최고 수준의 수렴 속도를 달성한다.
• 다양체 위에서 확률적 분포의 카르커 평균과 워셔스타인 바리센터 계산과 같은 기본 작업에서 경험적 우수성을 입증한다.

제안 방법

• 투영 단계를 피하기 위해 탄성 공간에서 선형 하위문제를 푸는 확률적 리만 프랭크-울프 알고리즘을 제안한다.
• 스파이어 분산 감소 기법을 리만 최적화에 적응시켜 다양체 위에서 효율적인 유한합 문제 해결을 가능하게 한다.
• 반복 값을 다양체 위에 유지하기 위해 리만 재구성과 벡터 운반을 사용하며, 업데이트는 탄성 공간에서 수행한다.
• 지오데식 볼록성 가정을 사용하여 지오데식 볼록 케이스의 수렴 보장을 수립한다.
• 비볼록 설정에서의 진전을 모니터링하기 위해 프랭크-울프 갭의 리만 변형을 도입한다.
• 핵심 기하 작업인 카르커 평균 계산과 워셔스타인 바리센터 추정에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 제약 파arameter 공간이 있는 리만 다양체 위에서 비볼록 최적화에 대해 확률적 프랭크-울프 방법을 효과적으로 확장할 수 있는가?
• RQ2 스파이어와 같은 분산 감소 기법을 리만 설정으로 어떻게 적응시켜야 유한합 문제에서 수렴을 향상시킬 수 있는가?
• RQ3 리만 프랭크-울프 방법은 비볼록 및 지오데식 볼록 설정 모두에서 유클리드 대응체들과 유사한 수렴 속도를 달성하는가?
• RQ4 카르커 평균과 워셔스타인 바리센터 계산과 같은 기본 기하 작업에서 이러한 방법의 경험적 성능은 어떠한가?

주요 결과

• 제안된 확률적 리만 프랭크-울프 방법은 비볼록 및 지오데식 볼록 문제 모두에서 유클리드 설정에서 알려진 최고 수준의 수렴 속도를 달성한다.
• 스파이어 기법의 리만 적응은 다양체 위에서의 유한합 최적화에서 효율적인 분산 감소를 가능하게 하여 샘플 효율성을 향상시킨다.
• 경험적 결과는 확률적 프랭크-울프 방법이 다양체 위에서 확률 분포의 카르커 평균을 계산할 때 기존 방법들을 능가함을 보여준다.
• 다변량 정규 분포에 대한 워셔스타인 바리센터 계산에서 최신 기술 수준의 성능을 달성하여 강건성과 확장성을 입증한다.