[논문 리뷰] Small random initialization is akin to spectral learning: Optimization and generalization guarantees for overparameterized low-rank matrix reconstruction

Dominik Stöger, Mahdi Soltanolkotabi|Publication Server of the Catholic University Eichstätt-Ingolstadt (Catholic University of Eichstätt-Ingolstadt)|2021. 06. 28.

Sparse and Compressive Sensing Techniques참고 문헌 62인용 수 13

한 줄 요약

이 논문은 과다매개변수화된 저질서 행렬 복원에서 작은 무작위 초기화가 암묵적인 스펙트럼 편향을 유도함으로써 경사하강법이 스펙트럼 방법과 유사한 경로를 따라가게 된다고 보여준다. 세 단계 수렴을 증명한다: (I) 스펙트럼 일치, (II) 안장점 회피, (III) 국소 정밀화로, 측정 연산자에 대한 온건한 조건 하에서 전역 최적성과 강력한 일반화 보장을 달성한다.

ABSTRACT

Recently there has been significant theoretical progress on understanding the convergence and generalization of gradient-based methods on nonconvex losses with overparameterized models. Nevertheless, many aspects of optimization and generalization and in particular the critical role of small random initialization are not fully understood. In this paper, we take a step towards demystifying this role by proving that small random initialization followed by a few iterations of gradient descent behaves akin to popular spectral methods. We also show that this implicit spectral bias from small random initialization, which is provably more prominent for overparameterized models, also puts the gradient descent iterations on a particular trajectory towards solutions that are not only globally optimal but also generalize well. Concretely, we focus on the problem of reconstructing a low-rank matrix from a few measurements via a natural nonconvex formulation. In this setting, we show that the trajectory of the gradient descent iterations from small random initialization can be approximately decomposed into three phases: (I) a spectral or alignment phase where we show that that the iterates have an implicit spectral bias akin to spectral initialization allowing us to show that at the end of this phase the column space of the iterates and the underlying low-rank matrix are sufficiently aligned, (II) a saddle avoidance/refinement phase where we show that the trajectory of the gradient iterates moves away from certain degenerate saddle points, and (III) a local refinement phase where we show that after avoiding the saddles the iterates converge quickly to the underlying low-rank matrix. Underlying our analysis are insights for the analysis of overparameterized nonconvex optimization schemes that may have implications for computational problems beyond low-rank reconstruction.

연구 동기 및 목표

• 작은 무작위 초기화가 과다매개변수화된 비볼록 최적화에서 유도하는 암묵적 인도적 편향을 이해하는 것.
• 과다매개변수화에도 불구하고 작은 무작위 초기화에서 시작하는 경사하강법이 잘 일반화되는 이유를 설명하는 것.
• 표준 경계 분석을 넘어서 저질서 행렬 복원에서의 경사하강법 경로를 공식적으로 기술하는 것.
• 저질서 행렬 복원의 자연스러운 비볼록 공식화에 대해 수렴성과 일반화 보장을 공식적으로 확립하는 것.
• 과다매개변수 설정에서 실용적 성공과 이론적 이해 사이의 격차를 메우는 것.

제안 방법

• 자연스러운 손실 함수를 가진 비볼록 저질서 행렬 복원 문제에서의 경사하강법 역학을 분석한다.
• 세 단계 경로를 식별한다: (I) 스펙트럼 일치, (II) 안장점 회피, (III) 국소 정밀화.
• 하나의 관측치를 제외한 분석과 행렬 섭동 이론을 사용하여 반복값의 열공간이 진짜 저질서 행렬과의 일치 정도를 제한한다.
• 작은 무작위 초기화가 스펙트럼 초기화와 유사한 스펙트럼 편향을 유도함으로써 기저 행렬과의 신속한 일치를 가능하게 한다고 증명한다.
• 반복값이 탈락한 안장점에서 벗어나고 솔루션 쪽으로 신속히 정밀화됨을 보여줌으로써 전역 최소점으로 수렴함을 증명한다.
• 연산자 노름 제약과 측정 연산자에 대한 가정(예: 제한된 등장성 성질)을 사용하여 오차 전파를 통제한다.

실험 결과

연구 질문

• RQ1 작은 무작위 초기화는 과다매개변수화된 저질서 행렬 복원에서 최적화 경로에 어떻게 영향을 미치는가?
• RQ2 왜 과다매개변수화되어도 작은 무작위 초기화에서 시작하는 경사하강법은 잘 일반화되는가?
• RQ3 작은 무작위 초기화의 암묵적 편향을 공식적으로 스펙트럼 방법과 연결할 수 있는가?
• RQ4 이 비볼록 설정에서의 경사하강법 역학의 구체적인 단계는 무엇인가?
• RQ5 어떤 조건 하에서 알고리즘이 전역으로 수렴하고 잘 일반화하는가?

주요 결과

• 작은 무작위 초기화는 암묵적인 스펙트럼 편향을 유도하여 경사하강법이 진짜 저질서 행렬의 열공간과 신속히 일치하게 한다.
• 최적화 경로는 세 단계로 분해되며, 각 단계에 대해 수렴 보장을 갖는다: 스펙트럼 일치, 안장점 회피, 국소 정밀화.
• 엄격한 음의 곡률을 가진 안장점은 경사 흐름의 방향으로 인해 피함으로써 전역 최소점으로의 수렴을 보장한다.
• 일치 단계 이후 반복값은 진짜 저질서 행렬로 신속히 수렴하며, 오차는 선형 속도로 감소한다.
• 작은 초기화 스케일은 일반화 성능을 향상시키며, 딥러닝에서의 경험적 관찰과 일치한다.
• 이론적 경계는 열공간 일치 오차가 진짜 행렬의 최소 특이값에 비례하는 비율로 감소함을 보여준다.