[논문 리뷰] Why do Larger Models Generalize Better? A Theoretical Perspective via the XOR Problem

Alon Brutzkus, Amir Globerson|arXiv (Cornell University)|2018. 10. 06.

Neural Networks and Applications인용 수 26

한 줄 요약

이 논문은 과다 매개변수화된 ReLU 네트워크가 더 작은 네트워크보다 일반화 성능이 뛰어나게 되는 이유를 밝혀내며, 초기화 시 기능 탐색 능력 향상과 학습 중 가중치 클러스터링이라는 두 가지 핵심 메커니즘을 규명한다. XOR 유사 탐지 작업을 위한 3층 컨볼루션 네트워크에 대한 이론적 분석을 통해 저자들은 과다 매개변수화가 경사하강법이 더 우수한 일반화 성능을 보이는 전역 최소값으로 수렴하도록 한다고 보여주며, MNIST에서의 실증적 검증을 통해 더 큰 네트워크가 클러스터링 현상을 보이고 더 나은 테스트 성능을 보임을 확인한다.

ABSTRACT

Empirical evidence suggests that neural networks with ReLU activations generalize better with over-parameterization. However, there is currently no theoretical analysis that explains this observation. In this work, we provide theoretical and empirical evidence that, in certain cases, overparameterized convolutional networks generalize better than small networks because of an interplay between weight clustering and feature exploration at initialization. We demonstrate this theoretically for a 3-layer convolutional neural network with max-pooling, in a novel setting which extends the XOR problem. We show that this interplay implies that with overparamterization, gradient descent converges to global minima with better generalization performance compared to global minima of small networks. Empirically, we demonstrate these phenomena for a 3-layer convolutional neural network in the MNIST task.

연구 동기 및 목표

• 과다 매개변수화된 ReLU 네트워크가 영점 학습 오차를 달성함에도 불구하고 더 나은 일반화 성능을 보이는 경험적 관찰을 설명하기 위해.
• 더 나은 일반화를 가능하게 하는 기반 메커니즘인 기능 탐색과 가중치 클러스터링을 규명하기 위해.
• 기본 XOR 문제에 대해 ReLU 활성화 함수를 사용하는 경사하강법의 전역 최소값 수렴 보장을 처음으로 제시하기 위해.
• MNIST 데이터셋을 사용하여 실제 세계 데이터에서 이론적 통찰을 검증함으로써 클러스터링과 탐색 효과의 전이 가능성 확인하기 위해.

제안 방법

• 고차원 XOR 탐지 문제(즉, XORD)에 대해 3층 컨볼루션 네트워크의 이론적 분석을 수행하며, ReLU, 맥스 풀링, 완전 연결층을 포함한다.
• 기본 XOR 문제의 확장으로서 고차원 입력에서의 이진 패턴 탐지를 모델링하는 XORD 문제를 도입한다.
• 과다 매개변수화된 네트워크가 기능 검출기의 개선된 탐색 능력과 프로토타입 주변으로 가중치 벡터가 클러스터링되는 덕분에 더 나은 일반화 성능를 달성함을 증명한다.
• 확률적 경계와 농도 불등식을 사용하여 더 큰 네트워크가 전역 최소값으로 수렴할 확률이 더 높고, 이로 인해 테스트 오차가 0이 되는 것을 보여준다.
• 120채널(크기 큰)과 4채널(크기 작은) 네트워크를 사용하여 MNIST에서의 실증적 검증을 수행하며, 무작위 초기화 대비 클러스터 기반 초기화를 비교한다.
• 가장 가까운 중심으로부터의 각도 분포를 측정하여 가중치 클러스터링을 평가하고, 다양한 초기화 및 네트워크 크기 조건에서의 테스트 오차를 비교한다.

실험 결과

연구 질문

• RQ1 과다 매개변수화된 ReLU 네트워크가 영점 학습 오차를 달성함에도 불구하고 더 작은 네트워크보다 일반화 성능이 뛰어나게 되는 이유는 무엇인가?
• RQ2 과다 매개변수화된 모델에서 향상된 일반화를 이끄는 특정 메커니즘은 탐색인지 클러스터링인가?
• RQ3 기본 XOR 문제에서 ReLU 활성화 함수를 사용할 경우 경사하강법이 전역 최소값으로 수렴할 수 있으며, 이는 어떤 조건에서 가능한가?
• RQ4 XORD 문제에서의 이론적 통찰은 MNIST와 같은 실제 세계 데이터셋으로 얼마나 전이 가능한가?
• RQ5 큰 네트워크에서 유도된 클러스터 프로토타입으로 작은 네트워크를 초기화하면 일반화 성능 향상이 이루어지는가?

주요 결과

• 과다 매개변수화된 네트워크는 초기화 시 더 넓은 범위의 기능 검출기를 탐색하고 가중치 클러스터링을 통해 효과적 모델 용량을 제한함으로써 일반화 성능이 향상된다.
• XORD 문제에서, 둘 다 영점 학습 오차를 달성하더라도 더 큰 네트워크가 더 낮은 테스트 오차를 기록함으로써 과다 매개변수화로 인한 일반화 격차가 존재함을 보여준다.
• 이론적 분석을 통해 특정 분포 가정 하에 ReLU 활성화 함수를 가진 XOR 문제에서 경사하강법이 전역 최소값으로 수렴하고 테스트 오차가 0이 되는 것을 증명하며, 이는 ReLU 네트워크에 대해 처음으로 제시된 수렴 보장이다.
• MNIST에서의 실증 결과는 더 큰 네트워크(120채널)가 강한 가중치 클러스터링을 보이며, 클러스터 기반 초기화를 사용한 작은 네트워크(4채널)가 무작위 초기화된 작은 네트워크보다 훨씬 높은 테스트 정확도를 기록함을 보여준다.
• 큰 네트워크에서 유도된 필터 클러스터 프로토타입으로 초기화된 작은 네트워크의 테스트 오차는 크게 향상되며, 이는 클러스터 프로토타입이 일반화에 기여하는 역할을 함을 확인한다.
• 과다 매개변수화가 증가할수록 전역 최소값으로 수렴할 확률이 증가하며, 이는 샘플 복잡도와 수렴 확률에 대한 경계를 통해 입증된다.