[논문 리뷰] Generalisation dynamics of online learning in over-parameterised neural networks

Sebastian Goldt, Madhu Advani외 3명|arXiv (Cornell University)|2019. 01. 25.

Neural Networks and Applications참고 문헌 44인용 수 7

한 줄 요약

이 논문은 확률적 경사 하강법(SGD)으로 훈련되는 과도하게 파rameter화된 두 층으로 구성된 신경망의 일반화 동역학을 교사-학생 프레임워크에서 연구한다. 분석적으로 유도된 상미분방정식(ODE)의 집합을 사용하여, 작은 학습률에서 일반화 오차가 과도하게 파rameter화된 정도(L)에 따라 선형적으로 증가함을 보이며, 이는 $ε_g^* \sim \eta\sigma^2L$ 로 표현되며, 온라인 학습에서 모델 용량과 일반화 사이의 근본적인 상충 관계를 드러낸다.

ABSTRACT

Deep neural networks achieve stellar generalisation on a variety of problems, despite often being large enough to easily fit all their training data. Here we study the generalisation dynamics of two-layer neural networks in a teacher-student setup, where one network, the student, is trained using stochastic gradient descent (SGD) on data generated by another network, called the teacher. We show how for this problem, the dynamics of SGD are captured by a set of differential equations. In particular, we demonstrate analytically that the generalisation error of the student increases linearly with the network size, with other relevant parameters held constant. Our results indicate that achieving good generalisation in neural networks depends on the interplay of at least the algorithm, its learning rate, the model architecture, and the data set.

연구 동기 및 목표

• 과도하게 파rameter화된 신경망이 훈련 데이터를 기억할 수 있는 능력을 지닌 바에도 불구하고 일반화가 잘 되는 이유를 이해하기 위해.
• 확률적 경사 하강법(SGD)을 사용하여 교사 네트워크에서 학습하는 학생 네트워크의 훈련 동역학을 모델링하기 위해.
• 네트워크 크기와 학습률에 따라 일반화 오차의 진화를 닫힌 형태로 기술하기 위해.
• 과도하게 파rameter화된 정도(과잉 히든 유닛 수)가 온라인 학습에서 일반화 성능에 미치는 영향을 조사하기 위해.

제안 방법

• 교사 네트워크가 M개의 히든 유닛을 가진 데이터를 생성하는 교사-학생 학습 설정을 정의한다.
• K개의 히든 유닛을 가진 두 층으로 구성된 학생 네트워크를 모델링하며, K > M를 만족시켜 제어된 과도하게 파rameter화된 상태(L = K - M)를 만든다.
• 대규모-N 근사에서 일반화 오차와 순서 매개변수의 시간 진화를 기술하는 상미분방정식(ODE)의 집합을 도출한다.
• 독립 동일분포(i.i.d.) 가우시안 입력과 유한한 노이즈 분산 $σ^2$ 를 가정하여 통계역학 도구를 사용해 점근적 일반화 오차 $\epsilon_g^*$ 를 해석적으로 계산한다.
• 작은 학습률 $η$ 의 영역에서 ODE를 섭동 방법으로 풀어 $\epsilon_g^*$ 의 명시적 표현을 도출한다.
• MNIST 데이터에서 결과를 검증하여, i.i.d. 가우시안 입력과 유사한 스케일링 행동을 보이며, 입력 분포에 대해 강건함을 확인한다.

실험 결과

연구 질문

• RQ1 과도하게 파arameter화된 학생 네트워크의 일반화 오차는 온라인 SGD 훈련 중 어떻게 변화하는가?
• RQ2 최종 일반화 오차가 과도하게 파arameter화된 정도(L)에 따라 어떻게 분석적으로 의존하는가?
• RQ3 학습률과 노이즈 수준이 과도하게 파arameter화된 네트워크의 일반화 성능에 영향을 미치는가?
• RQ4 훈련 데이터 집합이 유한하거나 크기와 상관없이 네트워크 크기와 일반화 오차는 어떻게 스케일링되는가?
• RQ5 초기 정지(early stopping)는 과도하게 파arameter화된 상태가 일반화에 악영향을 미치는 것을 완화하는가?

주요 결과

• 수렴 후 일반화 오차 $ε_g^*$ 는 과도하게 파arameter화된 정도 L에 따라 선형적으로 증가하며, 작은 학습률에서는 $ε_g^* \sim \eta\sigma^2L$ 로 표현된다.
• 일반화 오차의 L에 대한 선형 스케일링은 선형, 시그모이드형(ero) 및 ReLU 활성화 함수 모두에서 성립한다.
• 모델은 두 가지 다른 영역을 예측한다: P ≫ K 인 경우 L을 증가시키면 일반화가 악화되며, P ≈ K 인 경우 일반화가 안정되거나 향상된다.
• ODE 프레임워크는 합성 i.i.d. 가우시안 데이터와 실제 MNIST 데이터에서 모두 일반화 오차를 정확하게 예측하며, 일관된 스케일링을 보인다.
• 초기 정지는 과오차를 줄이지만, 특히 시그모이드 네트워크에서 L에 의존하는 일반화 오차 경향을 완전히 제거하지는 않는다.
• 해석적 해는 통계역학 방법을 사용하여 유도되었으며, 충분히 큰 훈련 집합에서 대규모-N 근사에서 정확하다.