[논문 리뷰] Polylogarithmic width suffices for gradient descent to achieve arbitrarily small test error with shallow ReLU networks

Ziwei Ji, Matus Telgarsky|arXiv (Cornell University)|2020. 04. 30.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 59

한 줄 요약

이 논문은 두 층의 ReLU 네트워크에서 다항로그 스케일의 너비—구체적으로 n, 1/ε, 1/δ에 대해 다항로그보다 큰 너비—를 갖는 경우, 수렴 속도가 O(1/ε) 이터레이션 내에 테스트 오차 ε을 임의로 작은 값으로 줄일 수 있음을 보여준다. 이는 학습 예제가 Ω(1/ε²) 이상이어야 한다는 조건 하에 성립한다. 주요 기여는 이러한 너비가 일반화에 충분하다는 것을 입증한 것으로, 한편으로는 랜덤 레이블이 존재하더라도 한정된 커널의 마진 성질 덕분에 가능하다는 점이다.

ABSTRACT

Recent work has revealed that overparameterized networks trained by gradient descent achieve arbitrarily low training error, and sometimes even low test error. The required width, however, is always polynomial in at least one of the sample size n, the (inverse) training error 1/epsilon, and the (inverse) failure probability 1/delta. This work shows that O(1/epsilon) iterations of gradient descent on two-layer networks of any width exceeding polylog(n, 1/epsilon, 1/delta) and Omega(1/epsilon^2) training examples suffices to achieve a test error of epsilon. The analysis further relies upon a margin property of the limiting kernel, which is guaranteed positive, and can distinguish between true labels and random labels.

연구 동기 및 목표

• 과도하게 파rameter화된 네트워크가 낮은 훈련 오차를 달성하는 것과 실질적으로 낮은 테스트 오차를 달성하는 것 사이의 격차를 메우기 위해.
• 다항식 스케일 너비가 아닌 다항로그 스케일 너비를 갖는 네트워크가 경사하강법 하에서 잘 일반화될 수 있는지 확인하기 위해.
• 한정된 커널의 마진 성질이 진정한 레이블과 랜덤 레이블을 구분하는 데 어떻게 기여하는지 분석하기 위해.
• O(1/ε) 이터레이션 내에 최소한의 너비 요구 조건을 충족시키며 테스트 오차 ε을 달성할 수 있음을 입증하기 위해.

제안 방법

• n, 1/ε, 1/δ에 대해 다항로그 스케일 너비를 갖는 두 층의 ReLU 네트워크에서 경사하강법의 동역학을 분석한다.
• 한정된 커널에서의 마진 성질을 활용하며, 이 성질이 진정한 레이블과 랜덤 레이블을 분리할 수 있도록 양의 값을 갖는 것으로 입증된다.
• 반복 최적화 분석을 통해 O(1/ε) 단계 내에 낮은 테스트 오차로 수렴함을 보여준다.
• 네트워크의 너비와 커널이 레이블 노이즈 하에서도 마진을 유지할 수 있는 능력 간의 연결을 통해 일반화 보장을 수립한다.
• 신경 미분 커널(NTK) 영역의 이론적 분석에 기반하여 일반화 한계를 도출한다.

실험 결과

연구 질문

• RQ1 다항로그 스케일 너비를 갖는 얕은 ReLU 네트워크에서 경사하강법이 임의로 작은 테스트 오차를 달성할 수 있는가?
• RQ2 다항식 스케일을 초월하여 일반화에 필요한 최소 네트워크 너비는 무엇인가?
• RQ3 한정된 커널의 마진 성질이 과도하게 파rameter화된 네트워크에서 일반화에 어떻게 영향을 미치는가?
• RQ4 커널이 마진을 유지한다면, 레이블이 랜덤하더라도 네트워크가 일반화할 수 있는가?

주요 결과

• 다항로그 스케일 너비—구체적으로 n, 1/ε, 1/δ에 대해 다항로그보다 큰 너비—를 갖는 네트워크는 경사하강법을 통해 테스트 오차 ε을 달성하는 데 충분하다.
• O(1/ε) 이터레이션 내에 Ω(1/ε²) 개의 훈련 예제가 존재할 경우, 테스트 오차 ε을 달성하는 데 충분하다.
• 한정된 커널은 진정한 레이블과 랜덤 레이블을 분리할 수 있는 양의 마진 성질을 갖는다.
• 과도하게 파arameter화된 네트워크뿐 아니라 커널의 마진 덕분에 노이즈가 있는 레이블 상황에서도 일반화가 달성된다.