[논문 리뷰] SGD on Neural Networks Learns Functions of Increasing Complexity

Preetum Nakkiran, Gal Kaplun외 5명|arXiv (Cornell University)|2019. 05. 28.

Neural Networks and Applications참고 문헌 36인용 수 48

한 줄 요약

이 논문은 SGD가 먼저 선형에 유사한 함수를 학습해 초기 이득을 설명하고, 이후 점진적으로 더 복잡한 함수를 학습하는 동안 초기 선형 성분을 유지하여 일반화에 도움을 준다는 것을 실험적으로 및 이론적으로 보여준다.

ABSTRACT

We perform an experimental study of the dynamics of Stochastic Gradient Descent (SGD) in learning deep neural networks for several real and synthetic classification tasks. We show that in the initial epochs, almost all of the performance improvement of the classifier obtained by SGD can be explained by a linear classifier. More generally, we give evidence for the hypothesis that, as iterations progress, SGD learns functions of increasing complexity. This hypothesis can be helpful in explaining why SGD-learned classifiers tend to generalize well even in the over-parameterized regime. We also show that the linear classifier learned in the initial stages is "retained" throughout the execution even if training is continued to the point of zero training error, and complement this with a theoretical result in a simplified model. Key to our work is a new measure of how well one classifier explains the performance of another, based on conditional mutual information.

연구 동기 및 목표

• 신경망에서 SGD의 초기 개선이 크게 선형 분류기 학습으로 설명될 수 있음을 보여준다.
• 훈련이 진행됨에 따라 SGD가 초기의 간단한 분류기에 대한 정보를 보유한다는 증거를 제시한다.
• 간단한 분류기가 더 복잡한 분류기를 얼마나 설명하는지 정량화하기 위한 상호정보 기반 척도를 도입한다.

제안 방법

• L에 의해 F의 성능이 얼마나 설명되는지 정량화하기 위해 mu_Y(F;L)=I(F;Y)-I(F;Y|L)라는 상호정보 기반 성능 상관을 정의한다.
• 실제 및 합성 이진 분류 작업에서 훈련 시간 t에 걸쳐 mu_Y(F_t;L)를 실험적으로 평가한다.
• 초기 단계의 학습을 최적의 선형 분류기와 비교하고 훈련이 진행될수록 위상 전이를 분석한다.
• 합성곱 신경망 구조와 단계적 간단한 모델을 사용하여 선형 분류기를 넘어 더 큰 복잡도에 대한 분석을 확장한다.
• 단순한 초기 분류기의 보존을 보이는 이론적 결과(Theorem 1)를 제시한다. 이는 단순한 초기 분류기가 과매개변수화된 선형 SGD에서 단순 데이터 분포 하에 유지됨을 보여준다.

실험 결과

연구 질문

• RQ1 신경망에서 SGD의 초기 성능이 주로 간단한(선형) 분류기에 의해 좌우되는가?
• RQ2 훈련이 초기 단계를 넘어 진행될 때 SGD가 초기 간단한 분류기의 영향을 계속 보유하는가?
• RQ3 SGD의 진행이 더 복잡한 함수를 학습하되 더 단순한 구성요소를 보존하는 방식으로 기술될 수 있는가?
• RQ4 상호정보가 간단한 분류기가 더 복잡한 SGD 모델의 설명력을 어떻게 정량화할 수 있는가?
• RQ5 실용적 설정에서 결과가 선형 모델을 넘어서 비선형 아키텍처에도 확장되는가?

주요 결과

• 실세계 설정에서 SGD의 초기 이득은 데이터와 상관된 선형 분류기에 크게 기인한다.
• 초기 단계 이후에도 SGD는 훈련 오차를 0으로 만드는 동안에도 간단한 선형 모델과의 상관 관계를 유지한다.
• 상호정보 기반 척도는 초기 선형 성분이 초기 성능의 상당 부분을 무작위 기준선보다 더 잘 설명할 수 있음을 보여준다.
• SGD가 선형 분류기를 넘어 더 복잡한 함수들을 학습하되 더 단순한 구성요소를 유지한다는 근거가 있다.
• 본 논문은 간단한 초기 분류기에서 시작하면 훈련 세트를 과적합하더라도 모집단 정확도가 최적이 되는 간단한 이론적 설정(Theorem 1)을 제시한다.