[논문 리뷰] Quantifying the generalization error in deep learning in terms of data distribution and neural network smoothness

Pengzhan Jin, Lu Lu외 2명|arXiv (Cornell University)|2019. 05. 27.

Advanced Neural Network Applications참고 문헌 84인용 수 61

한 줄 요약

이 논문은 커버 복잡도를 통해 데이터 분포 복잡도와 역 모듈러스 연속성으로서 신경망의 스무쓰니스를 연결하여 딥 뉴럴 네트워크에서 일반화 오차를 정량화하는 새로운 이론적 프레임워크를 제안한다. 데이터에 의존하는 측정치를 사용하여 기대 분류 오차의 날카운 상한을 유도하며, 이미지 데이터셋에서 수치적으로 검증된 결과, 테스트 오차와 커버 복잡도 사이에 선형 상관관계가 존재하고, 네트워크 크기가 증가함에 따라 스무쓰니스가 감소하지만 데이터셋 크기에는 민감하지 않음을 보여준다.

ABSTRACT

The accuracy of deep learning, i.e., deep neural networks, can be characterized by dividing the total error into three main types: approximation error, optimization error, and generalization error. Whereas there are some satisfactory answers to the problems of approximation and optimization, much less is known about the theory of generalization. Most existing theoretical works for generalization fail to explain the performance of neural networks in practice. To derive a meaningful bound, we study the generalization error of neural networks for classification problems in terms of data distribution and neural network smoothness. We introduce the cover complexity (CC) to measure the difficulty of learning a data set and the inverse of the modulus of continuity to quantify neural network smoothness. A quantitative bound for expected accuracy/error is derived by considering both the CC and neural network smoothness. Although most of the analysis is general and not specific to neural networks, we validate our theoretical assumptions and results numerically for neural networks by several data sets of images. The numerical results confirm that the expected error of trained networks scaled with the square root of the number of classes has a linear relationship with respect to the CC. We also observe a clear consistency between test loss and neural network smoothness during the training process. In addition, we demonstrate empirically that the neural network smoothness decreases when the network size increases whereas the smoothness is insensitive to training dataset size.

연구 동기 및 목표

• 딥 러닝에서 일반화 오차에 대한 실용적인 이론적 이해의 부족을 해결하기 위해.
• 실제 성능을 설명할 수 있는, 비어 있지 않은 데이터에 의존하는 일반화 오차 상한을 개발하기 위해.
• 데이터 분포 복잡도와 신경망 스무쓰니스가 기대 테스트 오차에 공동으로 영향을 주는 방식을 정량화하기 위해.
• 표준 이미지 분류 데이터셋을 사용하여 이론적 가정과 상한을 실증적으로 검증하기 위해.

제안 방법

• 분류 문제에 대한 데이터 분포 난이도를 측정하기 위해 커버 복잡도(CC)를 도입한다.
• 가중치 행렬의 스펙트럼 노름을 사용하여 역 모듈러스 연속성의 역수를 통해 신경망 스무쓰니스를 정의한다.
• CC와 네트워크 스무쓰니스를 사용하여 기대 분류 오차의 이론적 상한을 도출한다.
• 기하학적 커버링 성질과 기능적 스무쓰니스를 결합한 데이터에 의존하는 프레임워크를 제안하여 일반화 오차를 상한으로 제한한다.
• CNN을 사용하여 MNIST, CIFAR-10, CIFAR-100, COIL-20, COIL-100 및 SVHN에서 수치 실험을 통해 이론을 검증한다.
• 스케일링된 테스트 오차와 CC 사이의 선형 관계를 실증적으로 관찰하고, 학습 중 스무쓰니스의 변화를 추적한다.

실험 결과

연구 질문

• RQ1 데이터 분포와 네트워크 스무쓰니스를 사용하여 딥 뉴럴 네트워크의 일반화 오차를 어떻게 상한으로 제한할 수 있는가?
• RQ2 커버 복잡도는 분류 문제의 난이도를 결정하는 데 어떤 역할을 하는가?
• RQ3 스펙트럼 노름을 통해 추정된 신경망 스무쓰니스는 일반화 성능과 어떻게 상관관계가 있는가?
• RQ4 데이터 복잡도와 스무쓰니스에서 유도된 이론적 상한은 실제 이미지 데이터셋에서 실제로 성립하는가?
• RQ5 네트워크 크기와 데이터셋 크기는 신경망 스무쓰니스와 일반화 오차에 어떻게 영향을 미치는가?

주요 결과

• 클래스 수의 제곱근으로 정규화할 경우, 기대 분류 오차는 커버 복잡도(CC)에 비례하여 선형적으로 증가한다.
• 다양한 이미지 데이터셋에서 스케일링된 테스트 오차와 CC 사이에 명확한 선형 관계가 관찰된다.
• 네트워크 크기가 증가함에 따라 신경망 스무쓰니스가 감소하여 일반화 능력 향상을 시사한다.
• 네트워크 스무쓰니스는 훈련 데이터셋 크기의 영향을 거의 받지 않아, 아키텍처보다 데이터 양과의 관련성이 낮음을 시사한다.
• 일반화 오차에 대한 이론적 상한은 비어 있지 않으며, 학습 중 관측된 테스트 손실과 실증적으로 일치한다.
• 스펙트럼 노름을 통해 추정된 역 모듈러스 연속성은 신경망 스무쓰니스를 효과적으로 정량화하며, 테스트 성능과 상관관계가 있다.