[논문 리뷰] Neural Networks Learning and Memorization with (almost) no Over-Parameterization

Amit Daniely|arXiv (Cornell University)|2019. 11. 22.

Stochastic Gradient Optimization Techniques참고 문헌 19인용 수 17

한 줄 요약

이 논문은 두 층의 ReLU 신경망에서의 확률적 경사 하강법(SGD)이 무작위 레이블 데이터를 기억하고, 유계 차수의 다항식을 학습하며, near-optimal 네트워크 크기를 사용해 커널 방법을 근사할 수 있음을 보여준다. 특히, 단위 구면 $\sigma^{d-1}$ 상의 $m$개 샘플에 대해 $\tilde{O}(m)$ 매개변수와 $\tilde{O}(m/\epsilon^2)$ SGD 스텝을 사용해 $1-\epsilon$ 비율의 기억을 달성한다. 주요 기여는 과도한 파rameter화 없이 near-optimal 샘플, 매개변수, 실행 시간 복잡도를 달성하는 것이다.

ABSTRACT

Many results in recent years established polynomial time learnability of various models via neural networks algorithms. However, unless the model is linear separable, or the activation is a polynomial, these results require very large networks -- much more than what is needed for the mere existence of a good predictor. In this paper we prove that SGD on depth two neural networks can memorize samples, learn polynomials with bounded weights, and learn certain kernel spaces, with near optimal network size, sample complexity, and runtime. In particular, we show that SGD on depth two network with $ ilde{O}\left(\frac{m}{d} ight)$ hidden neurons (and hence $ ilde{O}(m)$ parameters) can memorize $m$ random labeled points in $\mathbb{S}^{d-1}$.

연구 동기 및 목표

• 딥 러닝에서 이론적 학습 가능성과 실용적 네트워크 크기 사이의 격차를 좁히기 위해 과도한 파rameter화를 피하고자 한다.
• 두 층의 네트워크에서의 SGD가 near-optimal 매개변수 수로 무작위 데이터를 기억할 수 있음을 보이고자 한다.
• 유계 데이터 분포 하에서 다항식과 커널 공간이 최소한의 네트워크 크기로 학습될 수 있음을 증명하고자 한다.
• 표준 활성화 함수(예: ReLU)와 허프 손실이 $m^2$ 매개변수를 요구하지 않더라도 효율적인 학습을 가능하게 함을 확립하고자 한다.

제안 방법

• 2q개의 은닉 뉴런을 가진 두 층의 ReLU 네트워크에서의 SGD 학습을 분석하고, 새로운 가중치 초기화 방식을 도입한다: $W$는 표준 정규분포의 복제이며, $\mathbf{u}$는 큰 상수 $B$와 그 음수의 복제이다.
• 학습 문제를 벡터 무작위 특징 기반으로 환원하여 농도 및 반농도 경계를 통한 분석을 가능하게 한다.
• $\mathbb{S}^{d-1}$ 상에서 $R$-유계 분포의 개념을 도입한다. 여기서 $\mathbb{E}_\mathbf{x} \langle \mathbf{u}, \mathbf{x} \rangle^2 \leq R^2/d$이며, 일반화 및 일반화 오차를 제어하기 위해 사용된다.
• 헤르미트 다항식 전개와 쌍대 활성화 함수를 사용하여 네트워크 출력과 커널 공간, 다항식 근사 간의 관계를 수립한다.
• 고확률 농도 부등식과 유니온 바운드를 적용하여 네트워크 출력이 목표 함수로부터의 편차를 제한한다.
• 모든 $O(1)$-유계 분포에 대해, SGD는 높은 확률로 $O\left(\sqrt{\frac{m \log^{c'+2}(m/\delta)}{dq}}\right)$의 일반화 오차를 달성한다.

실험 결과

연구 질문

• RQ1 두 층의 ReLU 네트워크에서의 SGD는 $\mathbb{S}^{d-1}$ 상의 $m$개의 무작위 레이블 데이터 포인트를 $\tilde{O}(m)$ 매개변수로만 사용해 $1-\epsilon$ 비율으로 기억할 수 있는가?
• RQ2 $O(1)$-유계 분포 하에서, SGD는 어떤 최소한의 네트워크 크기를 필요로 하여 유계 차수의 다항식을 학습할 수 있는가?
• RQ3 SGD를 사용한 두 층의 네트워크로 near-optimal 매개변수 수와 실행 시간으로 커널 공간을 학습할 수 있는가?
• RQ4 이 설정에서 데이터 분포의 유계성은 SGD의 일반화 및 샘플 복잡도에 어떤 영향을 미치는가?
• RQ5 제안된 초기화 방식이 기억 및 학습 작업에 대해 near-optimal 수렴을 가능하게 하는가?

주요 결과

• 두 층의 ReLU 네트워크에서 $\tilde{O}(m)$ 매개변수를 사용한 SGD는 $\mathbb{S}^{d-1}$ 상의 $m$개의 무작위 레이블 데이터 포인트 중 $1-\epsilon$ 비율을 $\tilde{O}(m/\epsilon^2)$ SGD 스텝을 사용해 기억할 수 있다.
• $O(1)$-유계 분포 하에서, SGD는 차수 $\leq c$이고 계수 노름 $\leq M$인 짝수 다항식의 클래스를 $\tilde{O}(M^2)$ 매개변수와 $\tilde{O}(m/\epsilon^2)$ 스텝으로 학습한다.
• $m = d^c$일 때, $q$개의 은닉 뉴런을 사용하면 높은 확률로 일반화 오차가 $O\left(\sqrt{\frac{m \log^{c'+2}(m/\delta)}{dq}}\right)$가 된다.
• 단위 구면 $\mathbb{S}^{d-1}$ 상의 균일 분포, 이산 입방체 $\{\pm 1/\sqrt{d}\}^d$, 그리고 $m = \omega(d)$인 무작위 점 집합은 모두 $O(1)$-유계이므로, 자연스러운 데이터 분포에 적용 가능하다.
• $R$-유계 분포에 대해서는 매개변수 수가 $O(1)$-유계 케이스의 $O(R^2)$ 배로 증가하지만, 실행 시간은 여전히 $\tilde{O}(m/\epsilon^2)$ 유지된다.
• 분석 결과 과도한 파rameter화가 기억 또는 학습에 필수적인 것은 아님을 보여주며, near-optimal 네트워크 크기만으로도 SGD가 성공할 수 있음을 밝혔다.