[논문 리뷰] Non-Vacuous Generalization Bounds at the ImageNet Scale: A PAC-Bayesian Compression Approach

Wenda Zhou, Victor Veitch외 3명|arXiv (Cornell University)|2018. 04. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 23인용 수 81

한 줄 요약

본 논문은 압축 크기와 일반화를 연결함으로써 현실적인 신경망에 대한 비허무적 PAC-Bayes 일반화 경계를 도출하고, 오프-더-스helf 압축 방법을 사용하여 ImageNet 규모 모델에서 최초의 비허무적 경계를 달성한다.

ABSTRACT

Modern neural networks are highly overparameterized, with capacity to substantially overfit to training data. Nevertheless, these networks often generalize well in practice. It has also been observed that trained networks can often be "compressed" to much smaller representations. The purpose of this paper is to connect these two empirical observations. Our main technical result is a generalization bound for compressed networks based on the compressed size. Combined with off-the-shelf compression algorithms, the bound leads to state of the art generalization guarantees; in particular, we provide the first non-vacuous generalization guarantees for realistic architectures applied to the ImageNet classification problem. As additional evidence connecting compression and generalization, we show that compressibility of models that tend to overfit is limited: We establish an absolute limit on expected compressibility as a function of expected generalization error, where the expectations are over the random choice of training examples. The bounds are complemented by empirical results that show an increase in overfitting implies an increase in the number of bits required to describe a trained network.

연구 동기 및 목표

• 딥 러닝에서 신경망의 압축 가능성과 일반화 사이의 연결을 동기화한다.
• 구체적으로 압축된 모델 크기를 복잡도 항으로 포함하는 PAC-Bayes 경계를 개발한다.
• 표준 압축 방식의 사용이 실용적 아키텍처에 대해 비허무적 일반화 보장을 산출함을 보인다.
• 과적합이 압축 가능성에 한계를 부여함을 실증적으로 뒷받침한다.
• 기존 압축 도구를 사용하여 실제 네트워크에 경계를 적용하기 위한 실용적 지침을 제공한다.

제안 방법

• 압축에서 유도된 코드 길이를 PAC-Bayes 경계에 포함시켜 유효한 압축 크기에 따른 일반화를 연결한다.
• 압축된 모델에서 점질량 PAC-Bayes 후설을 사용하고 계산 가능한 사전과 KL 발산을 계산한다.
• 구조화된 압축 출력(S, C, Q)을 갖는 가중치 비제로들에 대한 확률적 가우시안 섭동으로 강건성을 반영하도록 경계를 확장한다.
• 인코딩된 크기와 섭동-강건성 항을 모두 포함하는 경계(정리 4.3)를 도출한다.
• Pruning과 양자화(및 순전파에서의 노이즈 증가)를 사용하여 MNIST(LeNet-5)와 ImageNet 규모 네트워크에 경계를 적용한다.
• 다양한 압축 방식과의 호환성을 주장하고, 타이트함을 위해 재훈련이 필요하지 않다.

실험 결과

연구 질문

• RQ1 훈련된 네트워크의 압축 크기를 명시적으로 고려함으로써 PAC-Bayes 경계를 더 촘촘하게 만들 수 있는가?
• RQ2 표준 압축 기법이 ImageNet 규모 모델을 포함한 현대 아키텍처에서 비허무적 일반화 경계를 산출하는가?
• RQ3 실제에서 과적합과 신경망의 압축 가능성 사이에 탐지 가능한 관계가 있는가?
• RQ4 가중치 섭동에 대한 강건성이 압축 기반 일반화 경계와 어떻게 상호작용하는가?

주요 결과

데이터셋	원래 크기	압축 크기	강건성 보정	유효 크기	오류 경계	Top 1	Top 5
MNIST	168.4 KiB	8.1 KiB	1.88 KiB	6.23 KiB	<46%	NA	NA
ImageNet	5.93 MiB	452 KiB	102 KiB	350 KiB	<96.5%	<89%	NA

• 압축 크기에 기반한 경계가 현실적인 네트워크에 대해 최첨단의 비허무적 일반화 보장을 제공한다.
• 압축과 PAC-Bayes 이론의 결합으로 ImageNet 규모 모델에 대한 비허무적 경계가 달성된다.
• 고정된 압축 방식에서 과적합이 증가하면 압축 가능성이 악화된다는 실증적 증거가 있다.
• 고도로 과적합된 모델의 압축 가능성은 제한적이며, 가중치 섭동에 대한 강건성을 포함시켜 경계를 개선할 수 있다.
• MNIST와 ImageNet 규모 네트워크에 대한 실험은 의미 있는 오류 경계를 이끄는 효과적인 압축 크기를 보여준다.