[논문 리뷰] Riemannian adaptive stochastic gradient algorithms on matrix manifolds

Hiroyuki Kasai, Pratik Jawanpuria외 1명|arXiv (Cornell University)|2019. 02. 04.

Stochastic Gradient Optimization Techniques참고 문헌 49인용 수 23

한 줄 요약

이 논문은 리만 스트로스틱 그래디언트의 행 및 열 부분공간 가중치를 공분산 행렬을 사용하여 모델링함으로써 학습률을 적응적으로 갱신하는 리만 적응형 확률적 경사하강 알고리즘(Riemannian Adaptive Stochastic Gradient Algorithms, RASA)을 제안한다. 이 방법은 행렬 다양체에서 비볼록 확률적 최적화에 대해 $\mathcal{O}(\log(T)/\sqrt{T})$ 수준의 수렴 속도를 달성하며, 이는 이러한 설정에서 리만 적응형 방법에 대해 처음으로 제시된 수렴 보장이다.

ABSTRACT

Adaptive stochastic gradient algorithms in the Euclidean space have attracted much attention lately. Such explorations on Riemannian manifolds, on the other hand, are relatively new, limited, and challenging. This is because of the intrinsic non-linear structure of the underlying manifold and the absence of a canonical coordinate system. In machine learning applications, however, most manifolds of interest are represented as matrices with notions of row and column subspaces. In addition, the implicit manifold-related constraints may also lie on such subspaces. For example, the Grassmann manifold is the set of column subspaces. To this end, such a rich structure should not be lost by transforming matrices to just a stack of vectors while developing optimization algorithms on manifolds. We propose novel stochastic gradient algorithms for problems on Riemannian matrix manifolds by adapting the row and column subspaces of gradients. Our algorithms are provably convergent and they achieve the convergence rate of order $\mathcal{O}(\log (T)/\sqrt{T})$, where $T$ is the number of iterations. Our experiments illustrate the efficacy of the proposed algorithms on several applications.

연구 동기 및 목표

• 비볼록 설정에서 리만 적응형 확률적 경사하강 방법에 대한 수렴 분석의 부재를 해결하기 위해.
• 벡터화를 피하면서도 다양체의 내재된 행렬 구조를 유지하는 적응형 최적화 알고리즘을 개발하기 위해.
• 행렬 다각체에서 그래디언트의 행 및 열 부분공간 기하학을 활용하여 최적화 효율성을 향상시키기 위해.
• 리만 행렬 다각체에서 적응형 학습을 위한 체계적이고 계산 효율적인 프레임워크를 제공하기 위해.
• 제안된 방법이 주로 PCA, 행렬 완성 및 ICA 작업에서 기존의 리만 적응형 알고리즘보다 뛰어난 성능을 보임을 경험적으로 검증하기 위해.

제안 방법

• 리만 스트로스틱 그래디언트 $\mathbf{G}$ 의 행 및 열 부분공간에 대해 적응형 가중치 행렬 $\mathbf{L}$ 과 $\mathbf{R}$ 을 모델링한다.
• 행과 열의 공분산 행렬을 사용하여 $\mathbf{L}$ 과 $\mathbf{R}$ 을 계산함으로써 양의 정부호성을 보장한다.
• 계산 효율성을 위해 $\mathbf{L}$ 과 $\mathbf{R}$ 에 대각 행렬 구조를 도입하며, AdaGrad에 영향을 받음.
• 직교 프로젝터 $\mathrm{P}_{\mathbf{U}}$ 를 사용하여 유클리드 그래디언트를 탄성 공간에 투영함으로써 리만 최적화를 적용한다.
• 스티엘렐 및 그라스만 다각체에서 ICA, PCA, 행렬 완성 문제에 대해 리만 그래디언트를 유도한다.
• 다양체 제약 조건을 유지하면서도 적응형 부분공간 가중치를 리만 스트로스틱 그래디언트 갱신에 통합한다.

실험 결과

연구 질문

• RQ1 적응형 확률적 경사하강 방법가 리만 행렬 다각체로 효과적으로 일반화될 수 있는가? 이때 기하학적 구조는 유지되는가?
• RQ2 비볼록 설정에서 리만 적응형 확률적 경사하강 알고리즘의 수렴 속도는 무엇인가?
• RQ3 다양체에서 표준 유클리드 스타일의 적응형 방법과 비교해 볼 때, 행 및 열 부분공간 적응 전략은 어떻게 성능을 냈는가?
• RQ4 제안된 방법이 실질적인 머신러닝 응용 분야에서 기존의 리만 적응형 알고리즘을 초월할 수 있는가?
• RQ5 행렬 구조를 유지함(예: 벡터화 방지)하는 것이 최적화 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 RASA 알고리즘은 리만 행렬 다각체에서 비볼록 확률적 최적화에 대해 $\mathcal{O}(\log(T)/\sqrt{T})$ 수준의 수렴 속도를 달성한다.
• 유사한 조건 하에, 이 방법은 비볼록 설정에서 리만 적응형 스트로스틱 그래디언트 알고리즘에 대해 처음으로 수렴 분석을 제공한다.
• 합성 및 실세계 데이터셋에 대한 실험 결과, RASA는 PCA 및 행렬 완성 작업에서 베이스라인 리만 적응형 방법보다 뛰어난 성능을 보였다.
• 행 및 열 부분공간 적응 전략의 사용은 그래디언트의 행렬 구조를 유지하여 최적화 효율성을 향상시켰다.
• 적응형 가중치 행렬 $\mathbf{L}$ 과 $\mathbf{R}$ 의 대각 행렬 근사화는 계산 효율성을 확보하면서도 수렴 보장을 유지한다.
• 직교 프로젝션을 이용한 탄성 공간에의 투영을 통해 ICA, PCA, 행렬 완성 문제에 대한 리만 그래디언트가 명시적으로 유도되었다.