[논문 리뷰] Deterministic PAC-Bayesian generalization bounds for deep networks via generalizing noise-resilience

Vaishnavh Nagarajan, J. Zico Kolter|arXiv (Cornell University)|2019. 05. 30.

Advanced Neural Network Applications인용 수 45

한 줄 요약

이 논문은 깊은 네트워크의 노이즈-강건성을 활용하여 일반화 경계를 원래의 결정적이고 압축되지 않은 네트워크에 적용한 일반 PAC-Bayesian 프레임워크를 도입합니다. 이는 심층 ReLU 네트워크에 적용하고 스펙트럴-노름 곱으로 인한 깊이 증가를 피합니다.

ABSTRACT

The ability of overparameterized deep networks to generalize well has been linked to the fact that stochastic gradient descent (SGD) finds solutions that lie in flat, wide minima in the training loss -- minima where the output of the network is resilient to small random noise added to its parameters. So far this observation has been used to provide generalization guarantees only for neural networks whose parameters are either extit{stochastic} or extit{compressed}. In this work, we present a general PAC-Bayesian framework that leverages this observation to provide a bound on the original network learned -- a network that is deterministic and uncompressed. What enables us to do this is a key novelty in our approach: our framework allows us to show that if on training data, the interactions between the weight matrices satisfy certain conditions that imply a wide training loss minimum, these conditions themselves {\em generalize} to the interactions between the matrices on test data, thereby implying a wide test loss minimum. We then apply our general framework in a setup where we assume that the pre-activation values of the network are not too small (although we assume this only on the training data). In this setup, we provide a generalization guarantee for the original (deterministic, uncompressed) network, that does not scale with product of the spectral norms of the weight matrices -- a guarantee that would not have been possible with prior approaches.

연구 동기 및 목표

• 과도하게 매개변수화된 심층 네트넷이 왜 잘 일반화되는지와 SGD가 넓고 노이즈-강건한 해를 어떻게 찾는지 이해한다.
• 학습 시점의 노이즈-강건성을 이용하여 결정적이고 압축되지 않은 네트워크에 대한 일반화 경계를 산출하는 PAC-Bayesian 프레임워크를 개발한다.
• 스펙트럴 노름의 지수적 깊이 의존을 피하기 위해 프레임워크를 심층 ReLU 네트워크에 특수화한다.
• 경계에서의 균형을 정량화하고 병목 현상(특히 pre-activation 크기)을 확인한다.
• PAC-Bayesian 설정에서 학습 시점의 특성이 테스트 데이터로 어떻게 확장되는지에 대한 통찰을 제공한다.

제안 방법

• 주어진 입력에서의 노이즈-강건성을 포착하는 가중치의 입력 의존적 특성을 도입한다.
• 훈련 데이터에서 만족해야 하는 일련의 조건(ρ_r,l)과 마진 ∆⋆_{r,l}를 정의한다.
• 이전 조건을 만족하는 입력에 대해 가우시안 가중치 노이즈의 섭동이 제어되도록 하는 if-then 제약(EEq. 2)을 부과한다.
• 확률적 네트워크에 대한 PAC-Bayes 경계를 결정적 네트워크의 경계로 변환하는 방법을 보인다 (정리 C.1).
• 심층 ReLU 네트워크에 특수화한다; 스펙트럴 노름의 곱으로 스케일되지 않는 마진 기반 일반화 경계를 도출한다 (정리 4.1).
• pre-activation 크기를 경계에 역으로 영향을 주는 병목항(Bpreact)으로 식별하고, 실용적 완화책(예: 데이터의 작은 일부나 유닛 무시)을 논의한다.

실험 결과

연구 질문

• RQ1 깊은 네트워크에 대해 학습 시점의 노이즈-강건성 특성이 훈련에서 테스트 데이터로 일반화될 수 있는가?
• RQ2 확률적/압축된 버전이 아닌 원래의 결정적 네트워크에 적용되는 PAC-Bayesian 경계를 도출할 수 있는가?
• RQ3 결과로 얻은 경계가 스펙트럴 노름의 곱에 대한 전통적인 지수적 깊이 의존을 피하는가?
• RQ4 실무적으로 경계의 촘촘함을 좌우하는 주요 요인(예: pre-activation 크기)은 무엇인가?
• RQ5 MNIST와 같은 표준 데이터셋에서 네트워크의 깊이와 너비에 따라 이론적 경계가 실험적으로 어떻게 나타나는가?

주요 결과

• 일반 PAC-Bayesian 프레임워크는 학습 시점의 노이즈-강건성을 활용하여 결정적이고 압축되지 않은 네트워크의 테스트 손실을 경계할 수 있다.
• ReLU 네트워크의 경우 경계가 스펙트럴 노름의 곱으로 스케일되지 않고 대신 가중치 행렬과 학습 시점 특성 간의 상호 작용에 의존한다.
• 경계는 깊이에 따라 증가하지만 이전의 경계보다 더 느린 비율로 증가한다(대략 1.57^D로, 이전의 약 2.15^D에 비해 느림).
• 주요 병목은 훈련 전 활성화의 크기의 역수(Bpreact); 많은 전 활성화가 작은 경우 크기가 커질 수 있지만 이상값 무시 등의 완화로 실질적으로 감소시킬 수 있다.
• 실험적 논의에 따르면 대부분의 항은 작고(B ~ 10^2 수준) 반면 Bpreact가 지배적일 수 있어 실무적으로 개선할 구체적 영역을 제시한다.
• 프레임워크는 스펙트럴 노름 곱의 최악의 경우 대신 입력 의존적 특성에 집중함으로써 큰 네트워크에 대한 비공허한 보장을 제공하는 경로를 제시한다.