[논문 리뷰] Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK

Yuanzhi Li, Tengyu Ma외 1명|arXiv (Cornell University)|2020. 07. 09.

Stochastic Gradient Optimization Techniques참고 문헌 56인용 수 6

한 줄 요약

이 논문은 경사하강법으로 훈련된 과도하게 파rameter화된 두 층의 ReLU 신경망이 다항 시간 내에 다항 수의 샘플을 사용하여 인구 손실 $o(1/d)$로 특정 타겟 함수를 학습할 수 있음을 보여주며, 동일한 조건 하에서 어떤 커널 방법—신경망 탄성 커널(Neural Tangent Kernel) 포함—이 최대 $\tilde{\bigOmega}(1/d)$ 손실을 기록할 뿐임을 증명한다. 이 결과는 과도하게 파rameter화된 설정에서 경사기반 훈련과 커널 방법 사이에 증명 가능한 일반화 갭을 확립한다.

ABSTRACT

We consider the dynamic of gradient descent for learning a two-layer neural network. We assume the input $x\in\mathbb{R}^d$ is drawn from a Gaussian distribution and the label of $x$ satisfies $f^{\star}(x) = a^{ op}|W^{\star}x|$, where $a\in\mathbb{R}^d$ is a nonnegative vector and $W^{\star} \in\mathbb{R}^{d imes d}$ is an orthonormal matrix. We show that an over-parametrized two-layer neural network with ReLU activation, trained by gradient descent from random initialization, can provably learn the ground truth network with population loss at most $o(1/d)$ in polynomial time with polynomial samples. On the other hand, we prove that any kernel method, including Neural Tangent Kernel, with a polynomial number of samples in $d$, has population loss at least $Ω(1 / d)$.

연구 동기 및 목표

• 경사하강법으로 훈련된 과도하게 파arameter화된 두 층의 ReLU 신경망의 일반화 성능을 신경망 탄성 커널(NTK) 영역 외부에서 이해하기 위해.
• 과도하게 파arameter화된 설정에서 경사하강법과 커널 방법 사이에 일반화 갭을 공식적으로 확립하기 위해.
• 정규직교 기저 구조와 비음수 활성화 계수를 가진 두 층의 ReLU 네트워크에서 잘라낸 경사하강법의 동역학을 분석하기 위해.
• 경사하강법이 하위상수 인구 손실 $o(1/d)$를 달성할 수 있음을 증명하고, 커널 방법은 본질적으로 $\tilde{\bigOmega}(1/d)$로 제한됨을 보여주기 위해.

제안 방법

• 저자들은 타겟 함수를 $f^\star(x) = \sum_{i=1}^d a_i |w_i^\top x|$, 여기서 $a_i \in [1/(\kappa d), \kappa/d]$, $\sum a_i = 1$, 그리고 $\{w_i^\star\}$ 가 정규직교 기저를 이룬다고 모델링한다.
• 학생 네트워크를 $f_W(x) = \frac{1}{m} \sum_{i=1}^m \|w_i\| \cdot \operatorname{ReLU}(w_i^\top x)$로 재정의하여, 노드 가중치에 대한 경사 업데이트와 노름 제어를 가능하게 한다.
• 자르기 경사하강법을 사용하며, $\ell_2$ 노름이 임계값을 초과하는 뉴런의 기울기를 0으로 설정하여 무한성장 방지.
• 입력 분포에 대한 부울 푸리에 분석을 활용하여, 타겟 함수와 학생 함수의 푸리에 계수를 비교한다. $x = \bar{x} \circ \tau$로 표현하고 $\tau \sim \operatorname{Uniform}(\{-1,1\}^d)$로 간주한다.
• 증명은 푸리에 계수 행렬의 질량을 활용하여, 좋은 가중치 구성 집합 $\mathcal{S}_{gd}$ 를 구성하며, 이 집합에서는 학생 네트워크가 $o(1/d)$ 오차로 타겟 함수를 근사한다.
• 타겟 함수와 학생 함수의 푸리에 계수로부터 형성된 행렬의 질량을 이용한 모순 증명을 통해, 커널 방법이 $\tilde{\bigOmega}(1/d)$ 이하의 오차를 달성할 수 없음을 보여준다.

실험 결과

연구 질문

• RQ1 과도하게 파arameter화된 두 층의 ReLU 네트워크에서 경사하강법이 정규직교 기저와 비음수 계수를 가진 타겟 함수에 대해 $o(1/d)$ 인구 손실을 달성할 수 있는가?
• RQ2 과도하게 파arameter화된 설정에서 경사하강법과 커널 방법(NTK 포함) 사이에 증명 가능한 일반화 갭이 존재하는가?
• RQ3 이 설정에서 경사하강법의 암묵적 정규화를 활용하여 커널 방법의 성능 한계를 뛰어넘을 수 있는가?
• RQ4 특히 절대값과 정규직교 기저를 갖는 타겟 함수의 구조가 뛰어난 일반화를 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 과도하게 파arameter화된 두 층의 ReLU 네트워크에서 경사하강법은 다항 시간 내에 다항 수의 샘플을 사용하여 인구 손실 $o(1/d)$를 달성한다.
• NTK를 포함한 어떤 커널 방법의 일반화 오차는 다항 수의 샘플이 있더라도 $\tilde{\bigOmega}(1/d)$ 이하로 제한된다.
• 증명은 유리한 가중치 구성 집합 $\mathcal{S}_{gd}$ 의 크기가 $d^{\Omega(r)}$ 임을 보여주며, 이는 양호한 일반화를 위한 충분한 능력을 보장한다. 여기서 $r$ 은 충분히 큰 상수이다.
• 분석 결과, 타겟 함수의 푸리에 계수는 크기가 $r$ 인 부분집합에서만 지지되며, 학생 네트워크가 낮은 오차를 달성하려면 이러한 지지를 따라야 한다.
• 타겟 함수의 푸리에 계수 행렬의 질량은 $d^{\Omega(r)}$ 이며, $o(1/d)$ 오차 이내의 근사치는 이 질량을 유지해야 하며, 이는 커널 방법이 실패함을 의미한다.
• 이 결과는 과도하게 파arameter화된 설정에서 커널 방법의 본질적 한계를 확립하며, 경사하강법의 일반화 성능에 비해 커널 방법이 뒤처질 수 있음을 보여준다.