[논문 리뷰] Algorithmic Regularization in Over-parameterized Matrix Sensing and Neural Networks with Quadratic Activations

Yuanzhi Li, Tengyu Ma외 1명|arXiv (Cornell University)|2017. 12. 26.

Stochastic Gradient Optimization Techniques인용 수 148

한 줄 요약

이 논문은 과초파라미터화로 인한 경사하강법이 암묵적으로 규제하여 선형 측정으로부터 저랭크 PSD 행렬을 회복함을 보여주고, 분석을 하나의 은닉층 네트워크에서의 2차 활성화까지 확장한다.

ABSTRACT

We show that the gradient descent algorithm provides an implicit regularization effect in the learning of over-parameterized matrix factorization models and one-hidden-layer neural networks with quadratic activations. Concretely, we show that given $\ ilde{O}(dr^{2})$ random linear measurements of a rank $r$ positive semidefinite matrix $X^{\\star}$, we can recover $X^{\\star}$ by parameterizing it by $UU^\ op$ with $U\\in \\mathbb R^{d\ imes d}$ and minimizing the squared loss, even if $r \\ll d$. We prove that starting from a small initialization, gradient descent recovers $X^{\\star}$ in $\ ilde{O}(\\sqrt{r})$ iterations approximately. The results solve the conjecture of Gunasekar et al.'17 under the restricted isometry property. The technique can be applied to analyzing neural networks with one-hidden-layer quadratic activations with some technical modifications.

연구 동기 및 목표

• RIP 하에서 과초파라미터화된 행렬 인수분해에서 경사하강법이 어떻게 암묵적 규제 효과를 유도하는지 이해한다.
• UU^T 매개변수를 사용하여 O(dr^2 polylog d) 측정값으로부터 rank-r PSD 행렬의 회복을 보여준다.
• 2차 활성화를 갖는 하나의 은닉층 신경망으로 분석 확장을 다룬다.
• 초기화 크기에 연결된 수렴 속도와 일반화 동작을 특징짓는다.

제안 방법

• 대상 PSD X*를 U U^T 로 매개화한다. U ∈ R^{d×d}.
• RIP 측정하에서 제곱 손실 f(U) = (1/2m) ∑_i (y_i - <A_i, UU^T>)^2 를 최소화한다.
• 작은 초기화 U_0 = αB를 갖는 경사하강 업데이트 U_{t+1} = U_t - η∇f(U_t)를 분석한다.
• 업데이트에서 M_t가 (UU^T - X*)와 같은 방식으로 작동함을 보여주기 위해 RIP를 활용하여 X*로의 수렴을 가능하게 한다.
• U_tU_t^T - X*를 저랭크 부분과 작은 오차로 분해하여 집중 보조정리를 적용한다.
• 2차 활성화를 갖는 신경망에 대한 통찰을 확장하고 샘플 복잡도를 논의한다.

실험 결과

연구 질문

• RQ1 RIP 하에서 O(dr^2 polylog d) 측정으로 over-parameterized 인수분해 UU^T에 대한 경사하강법이 rank-r PSD 행렬을 회복할 수 있는가?
• RQ2 초기화 크기가 일반화 오차를 결정하고 과초파라미터화 환경에서 과적합을 방지하는가?
• RQ3 알고리즘적 규제 현상이 하나의 은닉층을 가진 신경망의 2차 활성화에 확장될 수 있는가?
• RQ4 이 영역에서 유한 스텝 크기로의 경사하강의 반복 복잡도와 안정성 특성은 무엇인가?
• RQ5 RIP 하에서 rank-1과 고차원(rank>1) 타깃 간 분석 차이점은 무엇인가?

주요 결과

• RIP를 갖는 경우 작은 초기화에서 시작한 GD는 초기화 의존 오차를 제외하고 대략 O(sqrt(r)) 의 반복에서 UU^T가 X*에 가까운 해로 수렴한다.
• 일반화(테스트) 오차는 매개변수 수가 아니라 초기화 α에 따라 스케일되며, 작은 α에서 거의 제로에 가까운 일반화 오차를 가능하게 한다.
• 필요한 측정 수는 m ≲ d poly(r log d)로 스케일링되며, 주어진 RIP 조건하에서 즉 ~dr^2 log^3 d 이다.
• 해당 프레임워크는 RIP 하에서 행렬 인식 맥락에서 Gunasekar et al.의 추측을 확인하며, 최소 랭크/트레이스 노름 해를 향한 암묵적 규제를 보여준다.
• 2차 활성화를 갖는 신경망에 대한 결과는 일반화 보장을 ~O(dr^5 κ^6) 샘플에서 제공하며(상수 및 로그 인자를 제수 포함).
• 실험 결과는 일반화가 초기화 크기에 의존함을 시지하며, 작은 α일 때 조기 중지 없이도 경사하강법이 안정적으로 작동할 수 있음을 시사한다.