[논문 리뷰] Fast Global Convergence for Low-rank Matrix Recovery via Riemannian Gradient Descent with Random Initialization

Thomas Y. Hou, Zhenzhen Li외 1명|arXiv (Cornell University)|2020. 12. 31.

Sparse and Compressive Sensing Techniques참고 문헌 45인용 수 12

한 줄 요약

이 논문은 낮은 질서의 행렬 다각형에서 린만 기울기 하강법(PGD) 프레임워크를 제안하여 낮은 질서의 행렬 복원 문제에서 빠른 전역 수렴을 달성한다. 무작위 초기화 하에, 이는 다각형의 유리한 기하적 성질과 초기 각도 분포 덕분에 유사한 임계점이 거의 확실히 피함으로써, 땅다운 진실값으로 향하는 거의 선형 수렴을 보장한다. 수렴 반복 수는 $\mathcal{O}(\text{log}(1/\epsilon) + \text{log}(n))$이다.

ABSTRACT

In this paper, we propose a new global analysis framework for a class of low-rank matrix recovery problems on the Riemannian manifold. We analyze the global behavior for the Riemannian optimization with random initialization. We use the Riemannian gradient descent algorithm to minimize a least squares loss function, and study the asymptotic behavior as well as the exact convergence rate. We reveal a previously unknown geometric property of the low-rank matrix manifold, which is the existence of spurious critical points for the simple least squares function on the manifold. We show that under some assumptions, the Riemannian gradient descent starting from a random initialization with high probability avoids these spurious critical points and only converges to the ground truth in nearly linear convergence rate, i.e. $\mathcal{O}( ext{log}(\frac{1}ε)+ ext{log}(n))$ iterations to reach an $ε$-accurate solution. We use two applications as examples for our global analysis. The first one is a rank-1 matrix recovery problem. The second one is a generalization of the Gaussian phase retrieval problem. It only satisfies the weak isometry property, but has behavior similar to that of the first one except for an extra saddle set. Our convergence guarantee is nearly optimal and almost dimension-free, which fully explains the numerical observations. The global analysis can be potentially extended to other data problems with random measurement structures and empirical least squares loss functions.

연구 동기 및 목표

• 리만 최적화를 사용하여 낮은 질서의 행렬 복원 문제에 대한 통합된 전역 수렴 분석을 수립하기 위해.
• 비볼록 낮은 질서 복원에서 관찰된 빠른 거의 선형 수렴을 이론적으로 설명하기 위해, 이는 이전 연구에서의 하위선형 이론적 보장과 모순된다.
• 최소 제곱 손실에 대해 낮은 질서의 다각형의 기하학적 구조, 특히 유사한 임계점의 존재 및 성격을 드러내기 위해.
• 무작위 초기화가 이러한 유사한 임계점을 높은 확률로 피할 수 있음을 보여주어 진실값으로의 전역 수렴을 가능하게 하기 위해.
• 표준 등장성 조건이 성립하지 않는 문제들, 예를 들어 가우시안 단편 복원 문제와 같은 약한 등장성 조건을 가진 문제들로 분석을 확장하고, 거의 최적의 수렴 보장을 제공하기 위해.

제안 방법

• 질서-$r$ 행렬의 다각형 $\mathcal{M}_r$ 위에서 낮은 질서의 행렬 복원 문제를 리만 최적화 문제로 수식화한다.
• 최소 제곱 손실 $f(Z) = \frac{1}{2}\|T(Z) - y\|_2^2$ 를 최소화하기 위해 리만 기울기 하강법(PGD)을 사용한다.
• 수렴 속도와 渐近적 행동을 분석하기 위해 인구 수준의 손실 함수 $\mathbb{E}[f(Z)]$ 를 분석한다.
• 낮은 질서의 다각형에 대한 새로운 기하학적 분석을 도입하여, 특이한 헤시안 고유방향을 가진 유사한 임계점을 규명한다.
• 최종 수렴 단계에서 Łojasiewicz 부등식을 활용하여 선형 수렴 속도를 유도한다.
• 운동론적 낮은 질서의 근사 프레임워크를 사용하여 열공간의 진화를 추적하고, 유사한 영역에서의 탈출 시간을 제한한다.

실험 결과

연구 질문

• RQ1 유사한 임계점이 존재하는 비볼록 환경에서, 무작위 초기화를 사용한 리만 기울기 하강법이 낮은 질서의 행렬 복원에서 빠른 전역 수렴을 달성할 수 있는가?
• RQ2 낮은 질서의 행렬 다각형의 어떤 기하학적 성질이 수치적으로 관찰된 거의 선형 수렴을 설명하는가?
• RQ3 왜 이 비볼록 환경에서 무작위 초기화가 높은 확률로 유사한 임계점을 피하는가?
• RQ4 수렴 속도는 문제의 차원과 질서에 따라 어떻게 달라지며, 이를 차원에 무관하게 유지할 수 있는가?
• RQ5 표준 RIP 조건이 성립하지 않는 문제들, 예를 들어 가우시안 단편 복원 문제와 같이 약한 등장성 조건을 가진 문제들로 분석을 확장할 수 있는가?

주요 결과

• 무작위 초기화를 사용한 리만 기울기 하강법은 유리한 초기 각도 분포 덕분에 유사한 임계점을 거의 확실히 피하며, 높은 확률로 진실값으로 수렴한다.
• 수렴 속도는 거의 선형이다: $\mathcal{O}(\text{log}(1/\epsilon) + \text{log}(n))$ 번의 반복으로 $\epsilon$-정확도에 도달하며, 이는 거의 최적이다.
• 유사한 임계점은 낮은 질서의 다각형 상에 존재하며, 특이한 헤시안 고유방향을 가진 엄격한 안정성 없는 고리점(saddle points)이므로 기울기 흐름 하에서 불안정하다.
• 진실값의 열공간과 무작위 초기화 간의 초기 각도는 높은 확률로 $\widetilde{\Omega}(1/n)$ 이상이 되며, 이는 빠른 유사 영역 탈출을 가능하게 한다.
• 분석은 표준 등장성 문제(예: 행렬 감지)와 약한 등장성 문제(예: 단편 복원) 모두에 적용되며, 유사한 수렴 행동를 보인다.
• 수렴 보장은 거의 차원에 무관하다. 속도는 $n$에 대해 로그적으로 의존하므로, 고차원 수치 실험에서 관찰된 강건성을 설명할 수 있다.