[논문 리뷰] On Generalization and Regularization in Deep Learning

Pirmin Lemberger|arXiv (Cornell University)|2017. 04. 05.

Neural Networks and Applications참고 문헌 1인용 수 7

한 줄 요약

이 논문은 훈련 샘플 수에 비해 훨씬 많은 파라미터를 가진 대규모 딥 네트워크가 일반화 잘 되는 이유를 조사한다. 이는 고전적 정규화 이론에 도전하는 것이다. 연구는 랜덤 레이블 조건에서도 이러한 모델이 거의 영점의 훈련 오차를 달성함을 보여주며, 이는 레이드엠처 복잡도가 1에 가까운 것을 의미한다. 이는 전통적인 복잡도 기반 일반화 경계가 딥 러닝에 대해 실패할 수 있음을 시사한다.

ABSTRACT

Why do large neural network generalize so well on complex tasks such as image classification or speech recognition? What exactly is the role regularization for them? These are arguably among the most important open questions in machine learning today. In a recent and thought provoking paper [C. Zhang et al.] several authors performed a number of numerical experiments that hint at the need for novel theoretical concepts to account for this phenomenon. The paper stirred quit a lot of excitement among the machine learning community but at the same time it created some confusion as discussions on OpenReview.net testifies. The aim of this pedagogical paper is to make this debate accessible to a wider audience of data scientists without advanced theoretical knowledge in statistical learning. The focus here is on explicit mathematical definitions and on a discussion of relevant concepts, not on proofs for which we provide references.

연구 동기 및 목표

• 실제 데이터에 대해 훈련 샘플 수에 비해 훨씬 많은 파라미터를 가진 대규모 딥 네트워크가 왜 잘 일반화되는지 설명하는 것.
• 정규화가 과적합을 방지하기 위해 모델 복잡도를 낮추는 메커니즘으로서의 고전적 해석을 도전하는 것.
• 딥 러닝의 맥락에서 레이드엠처 복잡도 기반의 표준 일반화 경계의 한계를 조사하는 것.
• 특히 랜덤 레이블로 훈련할 경우, 이론적 기대와 실제 성능 사이의 괴리, 즉 딥 러닝에서의 이론적 기대와 실증적 성능 간의 괴리를 부각하는 것.
• 딥 네트워크의 암묵적 인덕티브 바이어스와 최적화의 역학을 고려하는 새로운 이론적 프레임워크의 필요성을 제기하는 것.

제안 방법

• 실제 데이터와 랜덤 데이터를 사용한 경험적 실험을 통해 딥 네트워크의 일반화 행동을 분석함. 이는 순수한 노이즈 이미지에 랜덤 레이블을 사용해 훈련하는 것을 포함함.
• 모델 용량의 척도로 레이드엠처 복잡도를 사용함. 이는 $ n \ll k $ 조건 하에서도 대규모 네트워크에서 여전히 1에 가까운 값을 유지함을 보여주며, 높은 표현 능력을 시사함.
• 명시적 정규화 기법(예: $ L^2 $, 드롭아웃, 조기 정지, 데이터 증강)과 최적화 역학에 의해 유도되는 암묵적 정규화를 비교함.
• 일반화 경계 $ \mathbb{E}[\text{err}_P] \leq \widehat{\text{err}}_S + 2\widehat{\mathsf{Rad}}_n(\mathcal{F}) + \text{복잡도 항} $ 를 사용하여, 딥 러닝에서 고전적 경계가 실패함을 부각함.
• 모델이 랜덤 레이블에서 거의 영점의 훈련 오차(예: <0.18%)를 달성함을 보여주며, 이는 임의의 데이터를 기억할 수 있음을 시사함.
• 딥 러닝의 성공은 고전적 복잡도 제어로는 설명될 수 없으며, 새로운 이론적 개념의 필요성을 주장함.

실험 결과

연구 질문

• RQ1 실제 세계 데이터에 대해 훈련 샘플 수에 비해 훨씬 많은 파라미터를 가진 대규모 딥 네트워크가 왜 잘 일반화되는가?
• RQ2 명시적 정규화는 딥 러닝 모델의 레이드엠처 복잡도를 어느 정도 낮출 수 있는가?
• RQ3 딥 네트워크가 랜덤 레이블에서 거의 영점의 훈련 오차를 달성할 수 있는 이유는 무엇이며, 이는 모델 용량에 대해 어떤 시사점을 갖는가?
• RQ4 왜 레이드엠처 복잡도 기반의 고전적 일반화 경계는 딥 네트워크의 일반화 성능을 설명하지 못하는가?
• RQ5 최적화 역학(예: SGD)은 명시적 제약을 초월해 암묵적 정규화를 어떻게 수행하는가?

주요 결과

• 아나콘, 예를 들어, 랜덤 레이블로 훈련해도 거의 영점의 훈련 오차(<0.18%)를 달성함으로써, 높은 기억 능력을 보임.
• 이러한 모델의 레이드엠처 복잡도 $ \widehat{\mathsf{Rad}}_n(\mathcal{F}) $ 는 1에 가까운데, 이는 매우 표현력이 뛰어나고 고전적 복잡도 측도로는 제약을 받지 않는다는 것을 시사함.
• 높은 모델 복잡도에도 불구하고 실질적으로 딥 네트워크는 잘 일반화되며, 이는 낮은 복잡도가 좋은 일반화를 암시하는 고전적 일반화 이론과 모순됨.
• 명시적 정규화 기법들인 $ L^2 $, 드롭아웃, 조기 정지, 데이터 증강 등은 딥 네트워크의 일반화 행동을 설명하기에 부족함.
• 확률적 경사 하강법의 역학과 암묵적 최적화 효과가 일반화에 핵심적인 역할을 하지만, 아직 잘 이해되지 않음.
• 레이드엠처 복잡도 기반의 표준 일반화 경계는 딥 러닝 모델의 진짜 행동을 포괄하기에 너무 느슨하여, 더 정교한 이론적 프레임워크의 필요성을 시사함.