[논문 리뷰] The Power of Preconditioning in Overparameterized Low-Rank Matrix Sensing

Xingyu Xu, Yandi Shen외 2명|arXiv (Cornell University)|2023. 02. 02.

Sparse and Compressive Sensing Techniques인용 수 10

한 줄 요약

ScaledGD(λ)를 도입한다. 이는 작은 무작위 초기화에서 빠르게 수렴하고 악조건 및 잡음에 강건한 과매개변수화된 저랭크 행렬 감지에 대한 전처리된 그래디언트 디센트 방법이다. 조건수와 차원에 비해 다항로그(polylog)적으로만 의존하는 거의 최솟값에 근접한 오차를 달성한다.

ABSTRACT

We propose $ extsf{ScaledGD($λ$)}$, a preconditioned gradient descent method to tackle the low-rank matrix sensing problem when the true rank is unknown, and when the matrix is possibly ill-conditioned. Using overparametrized factor representations, $ extsf{ScaledGD($λ$)}$ starts from a small random initialization, and proceeds by gradient descent with a specific form of damped preconditioning to combat bad curvatures induced by overparameterization and ill-conditioning. At the expense of light computational overhead incurred by preconditioners, $ extsf{ScaledGD($λ$)}$ is remarkably robust to ill-conditioning compared to vanilla gradient descent ($ extsf{GD}$) even with overprameterization. Specifically, we show that, under the Gaussian design, $ extsf{ScaledGD($λ$)}$ converges to the true low-rank matrix at a constant linear rate after a small number of iterations that scales only logarithmically with respect to the condition number and the problem dimension. This significantly improves over the convergence rate of vanilla $ extsf{GD}$ which suffers from a polynomial dependency on the condition number. Our work provides evidence on the power of preconditioning in accelerating the convergence without hurting generalization in overparameterized learning.

연구 동기 및 목표

• 진짜 랭크를 알 수 없고 행렬이 불리한 조건에서 될 수 있는 저랭크 행렬 감지 문제를 다룬다.
• 과매개변수화하에서도 견고함을 유지하는 전처리된 비볼록 최적화 방법을 개발한다.
• 무작위 초기화에서의 글로벌 수렴 보장을 제공한다.
• 측정 잡음 및 근사적 저랭크성 하에서의 성능을 특징지운다.

제안 방법

• ScaledGD(λ)를 도입한다. 고정된 댐핑 λ를 갖는 전처리된 그래디언트 디센트로: X_{t+1}=X_t - η ∇f(X_t)(X_t^T X_t + λ I)^{-1} 이고 f(X) = (1/4)||A(XX^T)-y||^2.
• 반복자가 X의 회전에 대해 등가임을 보임으로써 파라미터화에 무관하게 M_t = X_t X_t^T 가 불변임을 보장한다.
• sensing operator A에 대해 rank-(r*+1) RIP 를 가정하고 X_0 = αG 의 작은 무작위 초기화를 Assumption 2에 따라 α 를 선택한다.
• overparameterized 영역 r ≥ r*에서 무작위 초기화로부터의 글로벌 수렴 보장을 제공하며 반복 복잡도는 κ(조건수)와 n에 대해 다항로그로 확장된다.
• 정확한 매개화(r = r*) 및 노이즈 측정에 대한 분석을 확장하여 κ 배수까지의 minimax-optimal 오차를 확립한다.
• Gaussian design 하에서 근사적 저랭크 행렬에 대한 확장도 논의한다.

실험 결과

연구 질문

• RQ1 ScaledGD(λ)가 랭크가 과매개변수화된 경우(r ≥ r*)에서도 작은 무작위 초기화로부터 글로벌 수렴을 달성할 수 있는가?
• RQ2 전처리(프리컨디셔닝)가 vanilla 그래디언트 디센트에 비해 수렴 속도와 악조건에 대한 강건성에 어떤 영향을 미치는가?
• RQ3 RIP 및 Gaussian design 하에서 반복 및 샘플 복잡도는 어떤가?
• RQ4 측정 잡음이나 근사적 저랭크성 하에서 ScaledGD(λ)의 성능은 어떤가?
• RQ5 보장들이 정확한 매개화 및 근사적 저랭크 설정으로 확장되는가?

주요 결과

• ScaledGD(λ)가 작은 로그-형태의 작은 구간 이후 일정한 선형 속도로 진짜 저랭크 행렬로 수렴하며, 반복 횟수는 O((log κ)(log κn) + log(1/ε))이다.
• 가우시안 설계 하에서 샘플 복잡도는 실제 랭크 r*에 의존하고 과매개된 랭크 r에 의존하지 않으며, m ≳ n r*^2 poly(κ)인 경우에 한정한다.
• 노이즈가 있는 설정에서도 ScaledGD(λ)는 κ 배수까지의 minimax-optimal 오차를 달성하고 최종 오차는 ε가 조정될 때 무소음 경우와 유사한 속도로 수렴한다.
• 정확한 매개화(r = r*)의 경우 스펙트럴 초기화 결과에 비해 추가적인 로그 오버헤드를 갖고 무작위 초기화로부터 M*로의 수렴이 가능하다.
• Gaussian design 아래에서 근사적 저랭크 설정으로도 확장되며 M* 또는 그 최적의 랭크-r 근사 M_r 을 거의 최적으로 회복한다.
• 이 연구는 전처리(프리컨디셔닝)가 과매개변수화 학습에서 일반화에 손실 없이 수렴 속도를 높일 수 있음을 보여준다.