[논문 리뷰] Vector Transport-Free SVRG with General Retraction for Riemannian Optimization: Complexity Analysis and Practical Implementation

Bo Jiang, Shiqian Ma외 2명|arXiv (Cornell University)|2017. 05. 25.

Stochastic Gradient Optimization Techniques참고 문헌 30인용 수 14

한 줄 요약

이 논문은 일반 다양체 위에서 임의의 재접합(retraction)을 사용하는 리만 최적화를 위한 벡터 운반 없이도 작동하는 확률적 분산 감소 기반 경사 하강법인 S-SVRG를 제안한다. 평행 운반 또는 벡터 운반의 필요성을 제거함으로써, 계산 비용을 낮추고, Łojasiewicz 부등식 하에서 반복 복잡도의 경계를 확립하며, 국소 선형 수렴과 Barzilai-Borwein 스텝 크기 도입으로 실용적 성능 향상을 달성한다.

ABSTRACT

In this paper, we propose a vector transport-free stochastic variance reduced gradient (SVRG) method with general retraction for empirical risk minimization over Riemannian manifold. Existing SVRG methods on manifold usually consider a specific retraction operation, and involve additional computational costs such as parallel transport or vector transport. The vector transport-free SVRG with general retraction we propose in this paper handles general retraction operations, and do not need additional computational costs mentioned above. As a result, we name our algorithm S-SVRG, where the first "S" means simple. We analyze the iteration complexity of S-SVRG for obtaining an $ε$-stationary point and its local linear convergence by assuming the Łojasiewicz inequality, which naturally holds for PCA and holds with high probability for matrix completion problem. We also incorporate the Barzilai-Borwein step size and design a very practical S-SVRG-BB method. Numerical results on PCA and matrix completion problems are reported to demonstrate the efficiency of our methods.

연구 동기 및 목표

• 벡터 운반 연산의 비용을 피하는 리만 최적화를 위한 확률적 분산 감소 기반 경사 하강법을 개발하는 것.
• 특수한 계산 장비(예: 평행 운반)가 필요 없이 일반적인 재접합 지도를 사용할 수 있도록 하는 것.
• Łojasiewicz 부등식 하에서 ϵ-정류점에 도달하기 위한 반복 복잡도 경계를 확립하는 것.
• 주성분 분석 및 행렬 완성과 같은 문제에서 Łojasiewicz 조건이 성립할 경우 국소 선형 수렴을 달성하는 것.
• Barzilai-Borwein 스텝 크기를 통합하여 실용적 성능 향상을 이룬 실용적 변형인 S-SVRG-BB를 설계하는 것.

제안 방법

• 특수한 운반 또는 지수 함수가 아닌 일반적인 재접합 지도를 사용하는 벡터 운반 없이도 작동하는 SVRG의 변종인 S-SVRG를 제안한다.
• 주기적으로 전체 기울기의 스냅샷을 이용해 분산 감소 기반의 확률적 기울기 추정기를 활용한다.
• 벡터 운반을 요구하지 않으면서도 목적 함수의 충분한 감소를 보장하는 수정된 스텝 크기 규칙을 도입한다.
• Łojasiewicz 부등식을 활용해 비볼록 문제에 대해 다样的체 위에서 국소 선형 수렴을 확립한다.
• 과거 기울기를 기반으로 스텝 크기를 적응적으로 조정하는 Barzilai-Borwein (BB) 스텝 크기 선택 기법을 통합하여 실용적 수렴 속도를 향상시킨다.
• 새로운 리아푸노프 함수를 사용하고 반복당 목적 함수 값의 기대 감소량에 대한 경계를 분석함으로써 수렴성을 분석한다.

실험 결과

연구 질문

• RQ1 리만 다양체 위에서 벡터 운반 또는 평행 운반을 요구하지 않는 확률적 분산 감소 기반 경사 하강법을 설계할 수 있는가?
• RQ2 일반적인 재접합 지도 하에서 ϵ-정류점에 도달하기 위한 이 메서드의 반복 복잡도는 얼마인가?
• RQ3 주성분 분석 및 행렬 완성과 같은 문제에서 Łojasiewicz 부등식이 성립할 경우, 이 메서드는 국소 선형 수렴을 달성하는가?
• RQ4 Barzilai-Borwein 스텝 크기가 고정 스텝 크기와 비교해 실용적 성능에 어떤 영향을 미치는가?
• RQ5 기존의 리만 SVRG 변종에 비해 계산 오버헤드를 줄이면서도 이론적 보장을 유지할 수 있는가?

주요 결과

• Łojasiewicz 부등식 하에서 ϵ-정류점에 도달하기 위해 IFO(내부 함수 오рак루) 복잡도가 O(n^{2/3}/ϵ + n)에 도달한다.
• 주성분 분석 및 행렬 완성 문제에서 Łojasiewicz 조건이 높은 확률로 성립함에 따라 S-SVRG는 국소 선형 수렴을 보장한다.
• S-SVRG-BB 변종은 주성분 분석 및 행렬 완성 작업에서 표준 SVRG 및 R-SVRG보다 수렴 속도가 빠르며, 실용적 성능이 뛰어나다.
• 이론적 분석을 통해 S-SVRG가 벡터 운반 및 평행 운반의 계산 부담을 피함으로써 더 넓은 적용 가능성을 확보함을 확인한다.
• 특수한 지수 함수가 아닌 일반적인 재접합 지도를 사용할 때에도 수렴 보장을 유지함을 입증한다.
• 지오데식 스무쓰니스와 유한한 곡률을 포함한 약한 가정 하에서 이론적 경계를 유도함으로써, 실용 문제에 대해 강건한 성능을 발휘한다.