[논문 리뷰] Understanding deep learning requires rethinking generalization

Chiyuan Zhang, Samy Bengio외 3명|arXiv (Cornell University)|2016. 11. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 1,089

한 줄 요약

이 논문은 현대 심층 네트워크가 무작위 레이블/픽셀을 암기할 수 있음을 보여주고 전통적 일반화 이론에 도전하며, 간단한 네트워크의 유한 샘플 표현력을 입증하고, SGD를 통한 암묵적 정규화가 핵심임을 주장한다.

ABSTRACT

Despite their massive size, successful deep artificial neural networks can exhibit a remarkably small difference between training and test performance. Conventional wisdom attributes small generalization error either to properties of the model family, or to the regularization techniques used during training. Through extensive systematic experiments, we show how these traditional approaches fail to explain why large neural networks generalize well in practice. Specifically, our experiments establish that state-of-the-art convolutional networks for image classification trained with stochastic gradient methods easily fit a random labeling of the training data. This phenomenon is qualitatively unaffected by explicit regularization, and occurs even if we replace the true images by completely unstructured random noise. We corroborate these experimental findings with a theoretical construction showing that simple depth two neural networks already have perfect finite sample expressivity as soon as the number of parameters exceeds the number of data points as it usually does in practice. We interpret our experimental findings by comparison with traditional models.

연구 동기 및 목표

• 왜 큰 신경망이 높은 용량에도 일반화하는지 질문한다.
• 전통적 복잡도 측정 기반의 프레임워크가 깊은 네트워크의 일반화를 설명하는지 시험한다.
• 딥 러닝에서 명시적 규제와 암묵적 규제의 역할을 탐구한다.
• 데이터를 암기하기 위한 신경망의 유한 샘플 표현력을 Demonstrate 한다.

제안 방법

• 데이터에 무작위 레이블을 부여한 표준 아키텍처를 훈련시키며 난수화 테스트를 수행한다.
• 실제 이미지를 무작위 픽셀로 대체하고 잡음 수준을 달리하여 적합 능력을 평가한다.
• 명시적 규제기(가중치 감소, 드롭아웃, 데이터 증가)를 사용 여부로 일반화를 비교한다.
• d 차원에서 크기가 n인 샘플의 임의의 레이블링을 나타낼 수 있는 p = 2n + d 파라미터의 간단한 2층 ReLU 네트워크를 이론적으로 구성한다.
• 선형 모델에서 최소 노름 해와의 연결을 통해 SGD를 암묵적 규제로 분석한다.
• VC 차원, Rademacher 복잡도 및 균일 안정성에 대한 시사점을 논의한다.

실험 결과

연구 질문

• RQ1 레이블이 무작위화될 때 깊은 네트워크가 훈련 데이터를 적합할 수 있는지, 이를 통해 효과적 용량이 무엇인지 시사하는 바는 무엇인가?
• RQ2 명시적 규제가 일반화를 충분히 설명하는가, 아니면 최적화에 의한 암묵적 규제가 더 결정적인가?
• RQ3 유한 샘플 표현력이 네트워크 일반화에 대한 이해를 어떻게 제한하는가?
• RQ4 많은 인터폴레이팅 해들 중에서 최적화 역학(SGD)이 선택하는 역할은 무엇인가?
• RQ5 표준 복잡도 측정(VC, Rademacher, 안정성)은 관찰된 깊은 학습 일반화와 어떻게 맞물리는가?

주요 결과

• 깊은 네트워크는 CIFAR-10 및 ImageNet 전반에서 무작위 레이블에 대해 0의 훈련 오차를 달성할 수 있어 데이터를 암기할 수 있는 충분한 용량이 있음을 시사한다.
• 레이블이 무작위화되면 일반화 오차가 증가하지만 훈련 오차는 0인 채로 남아 전통적인 복잡도 기반 설명에 도전한다.
• 명시적 규제기(가중치 감소, 드롭아웃, 데이터 증가)는 이 작업들에서 일반화를 향상시키지만 필수적이지는 않다.
• 2n + d 파라미터를 갖는 간단한 2층 ReLU 네트워크가 d 차원에서 크기가 n인 샘플의 임의의 레이블링을 표현할 수 있어 강한 유한 샘플 표현력을 보인다.
• 선형 설정에서 SGD는 암묵적 규제로 작용하며 최소 노름 해가 일반화될 수 있음을 보여 최적화 역학이 명시적 규제를 넘어 일반화에 기여함을 시사한다.