[논문 리뷰] Riemannian Stochastic Proximal Gradient Methods for Nonsmooth Optimization over the Stiefel Manifold

Bokun Wang, Shiqian Ma외 1명|arXiv (Cornell University)|2020. 05. 03.

Stochastic Gradient Optimization Techniques참고 문헌 35인용 수 8

한 줄 요약

이 논문은 스티펠 만만에서의 비연속 최적화를 위한 리만형 확률적 프락시멀 그래디언트 방법인 R-ProxSGD와 R-ProxSPB를 제안한다. 이는 유클리드 공간에서의 프락시멀 SGD와 SpiderBoost를 리만 기하학적 환경으로 일반화한 것으로, $\tilde{\text{O}}(\text{poly}(\frac{1}{\rho}))$의 인크리멘탈 제1차 오ракูล(Implicit First-Order Oracle, IFO) 복잡도를 달성하며, 온라인 스파arsity PCA와 강건한 낮은 질서 행렬 복원 문제에서 기존 리만형 서브그래디언트 방법보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

Riemannian optimization has drawn a lot of attention due to its wide applications in practice. Riemannian stochastic first-order algorithms have been studied in the literature to solve large-scale machine learning problems over Riemannian manifolds. However, most of the existing Riemannian stochastic algorithms require the objective function to be differentiable, and they do not apply to the case where the objective function is nonsmooth. In this paper, we present two Riemannian stochastic proximal gradient methods for minimizing nonsmooth function over the Stiefel manifold. The two methods, named R-ProxSGD and R-ProxSPB, are generalizations of proximal SGD and proximal SpiderBoost in Euclidean setting to the Riemannian setting. Analysis on the incremental first-order oracle (IFO) complexity of the proposed algorithms is provided. Specifically, the R-ProxSPB algorithm finds an $ε$-stationary point with $Ø(ε^{-3})$ IFOs in the online case, and $Ø(n+\sqrt{n}ε^{-2})$ IFOs in the finite-sum case with $n$ being the number of summands in the objective. Experimental results on online sparse PCA and robust low-rank matrix completion show that our proposed methods significantly outperform the existing methods that use Riemannian subgradient information.

연구 동기 및 목표

• 스티펠 만만에서 비연속 복합 최적화 문제에 대해 효율적인 확률적 리만형 알고리즘이 부족한 문제를 해결한다. 이는 비연속 정규화 항으로 인해 목적 함수가 미분 가능하지 않은 경우를 포함한다.
• 리만 기하학과 프락시멀 연산자를 활용하여 서브그래디언트 정보를 명시적으로 계산하지 않는 확률적 프락시멀 그래디언트 방법을 개발한다.
• 온라인 및 유한합 설정 모두에서 $\rho$-정류점($\rho$-stationary points)을 찾는 데 있어 향상된 인크리멘탈 제1차 오라클(Implicit First-Order Oracle, IFO) 복잡도를 달성한다.
• 기존 리만형 서브그래디언트 방법과 비교해 실제 문제인 온라인 스파arsity PCA와 강건한 낮은 질서 행렬 복원 문제에서 뛰어난 경험적 성능을 입증한다.
• 유클리드 공간에서의 프락시멀 확률적 알고리즘(SGD와 SpiderBoost)을 리만 기하학적 다각도로 일반화하면서도 수렴 보장을 유지한다.

제안 방법

• R-ProxSGD를 제안한다. 이는 부드러운 부분 $f$에 대한 확률적 그래디언트 추정자와 비연속 정규화 항 $h$에 대한 프락시멀 연산자를 사용하는 리만형 확률적 프락시멀 그래디언트 방법이다.
• R-ProxSPB를 도입한다. 이는 유한합 설정에서 IFO 효율성을 향상시키기 위해 분산 감소 그래디언트 추정자를 사용하는 SpiderBoost의 리만형 변종이다.
• 반복 점들이 스티펠 만만 $\text{St}(d,r)$ 위에 유지되도록 리트랙션과 벡터 운반 연산자를 적용하여 최적화 과정 전반에 걸쳐 타당성을 보장한다.
• 비연속성 처리를 위해 $h$의 모레우-요시다 정규화를 활용한 프락시멀 단계를 사용하며, 이는 서브그래디언트 정보가 필요 없음을 보장한다.
• IFO 복잡도 한계를 유도한다: 온라인 설정에서는 $\tilde{\text{O}}(\rho^{-3})$, 유한합 설정에서는 $\tilde{\text{O}}(n + \rho^{-2}\text{poly}(n))$이며, 여기서 $n$은 합성항의 수이다.
• 인덱스 쌍 $(i,j)\in\Omega$를 통한 확률적 그래디언트 샘플링이 가능한, 유한합 구조를 가진 부드러운 부분 $f$를 갖는 저질서 행렬 복원 설정을 설계하여, 전체 행렬 곱셈 없이도 효율적인 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비연속 최적화를 위한 확률적 프락시멀 그래디언트 방법이 리만 기하학적 다각도로 효과적으로 확장될 수 있는가?
• RQ2 리만형 확률적 프락시멀 그래디언트 방법의 인크리멘탈 제1차 오라클(Implicit First-Order Oracle, IFO) 복잡도는 $\rho$-정류점($\rho$-stationary points)을 찾는 데 얼마나 되는가?
• RQ3 실제 문제에서 R-ProxSGD와 R-ProxSPB는 기존 리만형 서브그래디언트 방법보다 성능과 수렴 속도에서 어떻게 비교되는가?
• RQ4 서브그래디언트 계산을 명시적으로 피하면서도, 서브그래디언트 기반 접근보다 더 뛰어난 IFO 효율성을 달성할 수 있는가?
• RQ5 이러한 방법들은 온라인 스파arsity PCA와 강건한 낮은 질서 행렬 복원과 같은 응용 분야에서 성능을 얼마나 향상시키는가?

주요 결과

• R-ProxSPB는 유한합 설정에서 $\tilde{\text{O}}(n + \rho^{-2}\text{poly}(n))$의 IFO 복잡도를 달성하며, 기존 서브그래디언트 방법보다 뚜렷이 향상된 성능을 보인다.
• 온라인 설정에서는 R-ProxSPB가 $\tilde{\text{O}}(\rho^{-3})$의 IFO 복잡도를 달성하며, 유클리드 설정에서 알려진 최상의 비율에 맞춘다.
• 온라인 스파arsity PCA 문제에서 R-ProxSGD와 R-ProxSPB는 R-Subgrad 방법보다 더 빠르게 수렴하고 더 낮은 목적 함수 값을 달성한다.
• 강건한 낮은 질서 행렬 복원 문제에서 R-ProxSGD와 R-ProxSPB는 R-Subgrad보다 더 높은 품질의 배경 추정을 제공하며, 특히 R-ProxSPB가 가장 일관된 향상을 보였다.
• 제안된 알고리즘은 명시적인 서브그래디언트 계산이 필요 없으며, 대신 프락시멀 단계와 확률적 그래디언트 추정자를 활용하여 안정성과 수렴성을 향상시킨다.
• 실제 감시 영상 데이터셋(예: '비즈니스 빌딩의 홀' 및 '공항 엘리베이터')에서의 경험적 결과는, R-ProxSPB와 R-ProxSGD가 동일한 4|Ω|의 확률적 그래디언트 예산 하에서 R-Subgrad를 능가함을 확인한다.