[논문 리뷰] Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks

Behnam Neyshabur, Zhiyuan Li외 3명|arXiv (Cornell University)|2018. 05. 30.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 214

한 줄 요약

본 논문은 두 계층 ReLU 네트워크에 대한 단위별 용량 측정을 도입하여 숨겨진 유닛 수와 함께 일반화 경계가 감소한다는 것을 보여주고, 과밀 매개화로 일반화가 향상되는 현상을 설명한다.

ABSTRACT

Despite existing work on ensuring generalization of neural networks in terms of scale sensitive complexity measures, such as norms, margin and sharpness, these complexity measures do not offer an explanation of why neural networks generalize better with over-parametrization. In this work we suggest a novel complexity measure based on unit-wise capacities resulting in a tighter generalization bound for two layer ReLU networks. Our capacity bound correlates with the behavior of test error with increasing network sizes, and could potentially explain the improvement in generalization with over-parametrization. We further present a matching lower bound for the Rademacher complexity that improves over previous capacity lower bounds for neural networks.

연구 동기 및 목표

• 신경망 폭을 늘리는 것이 왜 과매개화에도 불구하고 일반화를 향상시키는지 동기를 부여하고 정량화한다.
• 관측된 실무와 더 잘 맞는 per-unit 용량 및 per-unit 영향에 기초한 용량 측정치를 제안한다.
• 숨겨진 유닛 수에 따라 감소하는 두 계층 ReLU 네트워크에 대한 더 촘촘한 일반화 경계를 도출한다.
• 경계의 타당성을 보이기 위한 Rademacher 복잡도의 일치하는 하한을 제공한다.

제안 방법

• 단위 용량 beta_i를 ||u_i - u_i^0||_2로, 단위 영향 alpha_i를 = ||v_i||_2로 정의한다.
• 가설 공간을 각 단위의 용량 및 영향이 한정된 네트워크(V, U가 집합 W에 속하는)로 제한한다.
• 이 클래스에 의해 구성된 손실의 Rademacher 복잡도를 계산하여 sum_i alpha_i beta_i 및 데이터 노름으로 스케일되는 경계를 얻는다.
• (Theorem 2)로 일반화 경계를 증명하여 L0(f) ≤ L_gamma_hat(f) + h가 커질수록 감소하는 항들과 작은 sqrt(h/m) 항을 더한 형태를 보인다.
• 관련 클래스에 대한 하한(Theorem 3)을 제공하여 상한이 상수 차이 내에서 타이트함을 보인다.
• p-노름 기반 커버를 이용한 대형 h에 대한 정교한 경계로 논의를 확장한다(Theorem 5 및 Corollary 6).

실험 결과

연구 질문

• RQ1 과매개화(숨겨진 유닛 증가)가 두 계층 ReLU 네트워크의 일반화 향상에 기여하는가, 그리고 그 이유는 무엇인가?
• RQ2 단위별 용량 및 단위별 영향이 전통적인 노름 기반 척도보다 일반화 동향을 더 잘 설명할 수 있는가?
• RQ3 초기화 및 단위별 제약에 대한 두 계층 ReLU 네트워크의 Rademacher 복잡도에 대한 타이트한 경계는 무엇인가?
• RQ4 제안된 경계가 CIFAR-10, SVHN, MNIST에서 기존 경계와 비교하여 경험적으로 어떻게 작동하는가?
• RQ5 p-노름 기반 분석을 통해 더 큰 h로 결과를 확장할 수 있는가, 그리고 그 트레이드오프는 무엇인가?

주요 결과

• 제안된 단위별 용량 경계는 숨겨진 유닛이 증가함에 따라 감소하고, 실험에서 더 낮은 테스트 오차와 상관관계가 있다.
• 초기화에 대한 단위별 거리(단위 용량)는 더 큰 네트워크에서 감소하고, 단위별 영향(outgoing weights) 역시 1/√h보다 빠르게 감소한다.
• 경계는 최상층의 Frobenius 노름과 은닉층 가중치와 초기화 간의 차이를 사용하며 기존의 노름 기반 경계보다 개선을 보인다.
• Rademacher 복잡도에 대한 일치하는 하한이 확립되어 이전 경계보다 개선되고 Lipschitz 기반 분석을 넘어서는 차이를 강조한다.
• CIFAR-10 및 SVHN에 대한 실험 결과는 명시적 정규화 없이도 더 큰 네트워크가 일반화될 수 있음을 보이며, 단위별 측정값은 h가 커질수록 감소한다.
• 극도로 큰 h에 대한 정교한 경계는 p-노름 기반 커버를 통해 문제의 sqrt(h) 항을 줄인다(p ≈ log h).