[논문 리뷰] Algorithmic Regularization in Over-parameterized Matrix Recovery

Yuanzhi Li, Tengyu Ma외 1명|arXiv (Cornell University)|2017. 12. 26.

Sparse and Compressive Sensing Techniques인용 수 7

한 줄 요약

이 논문은 작고 초기화된 경사하강법이 과다 매개변수화된 행렬 복원에서 암묵적 정규화를 유도함을 보여주며, $\tilde{O}(dr^2)$개의 무작위 선형 측정값으로부터 $\tilde{O}(\sqrt{r})$ 반복 이내에 정확한 저질서 행렬 복원을 가능하게 한다. 이는 제한된 이완성 조건 하에서 Gunasekar 등이 제기한 추측을 확인하며, 비선형 행렬 분해에서의 알고리즘 정규화를 보여준다.

ABSTRACT

We study the problem of recovering a low-rank matrix $X^\star$ from linear measurements using an over-parameterized model. We parameterize the rank-$r$ matrix $X^\star$ by $UU^ op$ where $U\in \mathbb{R}^{d imes d}$ is a square matrix, whereas the number of linear measurements is much less than $d^2$. We show that with $ ilde{O}(dr^{2})$ random linear measurements, the gradient descent on the squared loss, starting from a small initialization, recovers $X^\star$ approximately in $ ilde{O}(\sqrt{r})$ iterations. The results solve the conjecture of Gunasekar et al. under the restricted isometry property, and demonstrate that the training algorithm can provide an implicit regularization for non-linear matrix factorization models.

연구 동기 및 목표

• Gunasekar 등이 제기한 과다 매개변수화된 행렬 복원에서의 암묵적 정규화에 대한 추측을 해결하기 위해.
• 작은 초기화를 갖는 경사하강법이 임베딩 차원보다 적은 측정값으로 저질서 행렬 $X^\star$를 어떻게 복원하는지 분석하기 위해.
• 제한된 이완성 조건 하에서 $\tilde{O}(\sqrt{r})$ 반복 이내 수렴에 대한 이론적 보장을 수립하기 위해.
• 학습 알고리즘이 비선형 행렬 분해 모델에서 암묵적 정규화를 제공하는지 보여주기 위해.

제안 방법

• 랭크-$r$ 행렬 $X^\star$를 $U \in \mathbb{R}^{d \times d}$를 사용해 $UU^\top$로 매개변수화하여 과다 매개변수화를 가능하게 한다.
• 선형 측정값으로부터 재구성 오차를 최소화하기 위해 제곱 손실 함수에 대해 경사하강법을 사용한다.
• 작은 무작위 값으로 $U$를 초기화하여 암묵적 정규화를 유도한다.
• 측정 연산자의 제한된 이완성 조건(RIP)을 사용하여 수렴성을 확립한다.
• 과다 매개변수화된 환경에서 경사하강법의 동역학을 분석하여 반복 수의 상한을 도출한다.
• 근사 복원을 위해 필요한 $\tilde{O}(dr^2)$의 측정 복잡도를 유도한다.

실험 결과

연구 질문

• RQ1 작은 초기화를 갖는 경사하강법은 과다 매개변수화된 환경에서 $d^2$개 이하의 측정값으로 저질서 행렬을 복원할 수 있는가?
• RQ2 학습 과정은 비선형 행렬 분해 모델에서 암묵적 정규화를 제공하는가?
• RQ3 제한된 이완성 조건 하에서 복원에 필요한 샘플 복잡도는 무엇인가?
• RQ4 과다 매개변수화된 환경에서 수렴하기 위해 필요한 반복 수는 몇 개인가?
• RQ5 Gunasekar 등이 제기한 추측 하에서 알고리즘이 복원을 달성하는가?

주요 결과

• 작은 초기화를 갖는 경사하강법은 $\tilde{O}(\sqrt{r})$ 반복 이내에 $X^\star$를 근사적으로 복원한다.
• 이 방법은 $d^2$보다 훨씬 적은 $\tilde{O}(dr^2)$개의 무작위 선형 측정값만 필요로 한다.
• 측정 연산자의 제한된 이완성 조건 하에서 복원이 보장된다.
• 결과는 Gunasekar 등이 행렬 복원에서 암묵적 정규화에 대해 제기한 추측을 확인한다.
• 알고리즘은 과다 매개변수화가 이루어진 비선형 행렬 분해 모델에서도 암묵적 정규화를 제공한다.
• 분석을 통해 과다 매개변수화된 행렬 모델에서 일반화의 이론적 기반을 확립한다.