[논문 리뷰] Stochastic Primal-Dual Method on Riemannian Manifolds with Bounded Sectional Curvature

Masoud Badiei Khuzani, Na Li|arXiv (Cornell University)|2017. 03. 23.

Stochastic Gradient Optimization Techniques참고 문헌 45인용 수 4

한 줄 요약

이 논문은 유계 섹션 곡률을 가진 리만 다양체에서 제약 조건이 있는 최적화를 위한 확률적 원-쌍대 알고리즘을 제안한다. 기하학적 볼록성과 비교 기하학을 활용하며, 비점근 수렴 속도를 확립하여 다양체의 섹션 곡률에 명시적으로 의존한다. 타원, 쌍곡, 점점 더 타원적인 다양체에 대해 날카러운 경계를 제공한다.

ABSTRACT

We study a stochastic primal-dual method for constrained optimization over Riemannian manifolds with bounded sectional curvature. We prove non-asymptotic convergence to the optimal objective value. More precisely, for the class of hyperbolic manifolds, we establish a convergence rate that is related to the sectional curvature lower bound. To prove a convergence rate in terms of sectional curvature for the elliptic manifolds, we leverage Toponogov's comparison theorem. In addition, we provide convergence analysis for the asymptotically elliptic manifolds, where the sectional curvature at each given point on manifold is locally bounded from below by the distance function. We demonstrate the performance of the primal-dual algorithm on the sphere for the non-negative principle component analysis (PCA). In particular, under the non-negativity constraint on the principle component and for the symmetric spiked covariance model, we empirically show that the primal-dual approach outperforms the spectral method. We also examine the performance of the primal-dual method for the anchored synchronization from partial noisy measurements of relative rotations on the Lie group SO(3). Lastly, we show that the primal-dual algorithm can be applied to the weighted MAX-CUT problem under constraints on the admissible cut. Specifically, we propose different approximation algorithms for the weighted MAX-CUT problem based on optimizing a function on the manifold of direct products of the unit spheres as well as the manifold of direct products of the rotation groups.

연구 동기 및 목표

• 유계 집합이 유클리드 공간에서 비볼록일 수 있는 리만 다양체에서 제약 조건이 있는 문제를 위한 확장 가능하고 투영을 포함하지 않는 최적화 방법을 개발한다.
• 유계 섹션 곡률을 가진 다양체에서 확률적 원-쌍대 방법의 비점근 수렴 보장을 수립한다.
• 다양한 곡률 영역—쌍곡(음수), 타원(양수), 점점 더 타원적인(거리 함수에 의해 국소적으로 아래로 유계)에 걸쳐 수렴 분석을 통합한다.
• 비음수 주성분 분석, SO(3)에서의 锚정렬 문제, 제약 조건이 있는 가중 MAX-CUT 문제에 대해 실용적 효능을 입증한다.

제안 방법

• 다양체 위에서 직접 작동하는 리만 원-쌍대 알고리즘을 사용하여 유클리드 임bedding과 투영 단계를 피한다.
• 암묵적 정규화를 다양체의 기하학을 통해 적용한 확률적 하향 기울기 방법을 적용하여 원변수 반복값이 다양체 위에 유지되도록 보장한다.
• 쌍곡 다양체의 경우 기하학적 볼록성과 곡률 인식 분석을 통해 하한이 있는 섹션 곡률에 의존하는 수렴 속도를 유도한다.
• 타원 다양체의 경우 토폰로프의 비교 정리를 활용하여 곡률 영향을 유계화하고, 섹션 곡률을 포함하는 수렴 속도를 도출한다.
• 고정된 점으로부터의 제곱 거리 함수를 사용해 섹션 곡률을 아래로 유계로 둘러싸는 방식으로 점점 더 타원적인 다양체로 분석을 확장한다.
• 오르리츠 노름 농도 불등식과 탈라그랑드 유형의 경계를 사용해 하향 기울기 추정치의 확률적 오차를 제어한다.

실험 결과

연구 질문

• RQ1 유계 섹션 곡률을 가진 리만 다양체에서 확률적 원-쌍대 방법이 비점근 수렴을 달성할 수 있는가?
• RQ2 쌍곡 및 타원 다양체에서 섹션 곡률은 수렴 속도에 어떻게 영향을 미치는가?
• RQ3 섹션 곡률이 상수가 아니라 거리의 함수로 아래로 유계일 경우 수렴 분석을 어떻게 확장할 수 있는가?
• RQ4 낮은 신호 대 잡음 비율에서 비음수 주성분 분석에서 리만 원-쌍대 방법이 표준 스펙트럼 방법보다 우월한가?
• RQ5 이 방법은 SO(3)와 같은 리 군에서의 정렬 문제와 곱 다양체에서의 제약 조건이 있는 MAX-CUT 문제에 효과적으로 적용될 수 있는가?

주요 결과

• 유계 섹션 곡률을 가진 쌍곡 다양체에서, 알고리즘은 곡률 하한에 명시적으로 의존하는 전역 비점근 수렴 속도를 달성한다.
• 타원 다양체의 경우 토폰로프의 비교 정리를 통해 섹션 곡률을 포함하는 수렴 경계를 도출할 수 있으며, 곡률이 0으로 수렴할수록 쌍곡 경우에 가까워진다.
• 섹션 곡률이 고정된 점으로부터의 제곱 거리 함수에 대해 2차 함수로 아래로 유계일 때, 수렴 분석을 점점 더 타원적인 다양체로 확장한다.
• 대칭 스파이크 공분산 모델 하에서의 비음수 주성분 분석에서, 코사인 유사도 기준으로 낮은 SNR 영역에서 원-쌍대 방법이 스펙트럼 방법보다 뛰어난 성능을 보인다. 이는 비음수 제약 조건 덕분이다.
• 표본 크기 증가에 따라 잘 스케일링되며, 수백 개 이하의 표본 크기로 제한되는 정수형 프로그래밍(SDP) 접근법보다 뛰어난 성능을 보인다.
• 실험 결과는 알고리즘이 부분적으로 노이즈가 섞인 상대 회전 측정치로부터 SO(3)에서의 锚정렬 문제를 효과적으로 해결함을 보여주며, 강인성과 확장성 모두를 입증한다.