[논문 리뷰] PAC-Bayes Compression Bounds So Tight That They Can Explain Generalization

Sanae Lotfi, Marc Finzi외 4명|arXiv (Cornell University)|2022. 11. 24.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 깊이 있는 신경망을 학습된 선형 부분공간에서 훈련하고 적응형 양자화를 적용함으로써 최신 기술 수준의 일반화 한계를 달성하는 새로운 PAC-Bayes 압축 프레임워크를 제안한다. 이는 일반화를 압축 가능성으로 설명할 수 있도록 훨씬 더 날카운 한계를 제공한다. 이 방법은 데이터에 독립적인 사전이 데이터에 종속적인 것보다 더 유용하다는 것을 드러내며, 모델 압축 가능성은 전이 학습, 동치성, 이중 내림막 현상과 같은 주요 딥 러닝 현상을 설명함을 보여준다.

ABSTRACT

While there has been progress in developing non-vacuous generalization bounds for deep neural networks, these bounds tend to be uninformative about why deep learning works. In this paper, we develop a compression approach based on quantizing neural network parameters in a linear subspace, profoundly improving on previous results to provide state-of-the-art generalization bounds on a variety of tasks, including transfer learning. We use these tight bounds to better understand the role of model size, equivariance, and the implicit biases of optimization, for generalization in deep learning. Notably, we find large models can be compressed to a much greater extent than previously known, encapsulating Occam's razor. We also argue for data-independent bounds in explaining generalization.

연구 동기 및 목표

• 딥 러닝이 왜 일반화되는지 의미 있게 설명할 수 있는, 더 날카운 PAC-Bayes 일반화 한계를 개발하는 것.
• 일반화를 설명하는 데 있어 압축 가능성만으로도 충분한지, 암묵적 편향이나 최적화 역학에 의존하지 않는지 조사하는 것.
• PAC-Bayes 한계를 통해 일반화를 설명할 때 데이터에 종속적인 사전과 데이터에 독립적인 사전의 상대적 정보량을 평가하는 것.
• 압축 가능성의 관점에서 모델 크기, 동치성, 최적화에 의해 유도되는 인도크티브 편향의 역할을 이해하는 것.
• 전이 학습과 구조적 인도크티브 편향이 압축 가능성과 일반화 한계를 향상시키는 방식을 보여주는 것.

제안 방법

• 모델 파라미터 공간의 무작위 선형 부분공간에서 신경망을 훈련하여 구조적이고 저차원의 압축을 가능하게 한다.
• 부분공간 내에서 학습된 양자화를 적용하여 모델 파라미터를 압축하고, 모델을 표현하기 위해 필요한 비트 수를 최소화한다.
• Occam의 면도 원칙을 반영하는 사전을 구성하여 더 단순한 모델을 선호한다. 이 사전은 양자화된 가중치 중심의 가우시안 혼합 모델로 구성된다.
• 변동 길이 인코딩(예: 허프만 또는 산술 인코딩)을 사용하여 압축된 모델을 표현하기 위해 필요한 비트 수의 효과적 감소를 도모하고, 한계의 날카움을 향상시킨다.
• 후행 분포와 사전 분포 간의 KL 발산을 고려한 수정된 Catoni 스타일의 PAC-Bayes 한계를 계산한다.
• 데이터에 종속적인 사전과 데이터에 독립적인 사전을 모두 평가하며, 후자는 모델 압축 가능성의 역할을 데이터 특수 효과에서 분리하기 위해 사용된다.

실험 결과

연구 질문

• RQ1 최적화 역학이나 손실 곡면 성질과 무관하게 압축 가능성만으로도 딥 러닝 신경망의 일반화를 설명할 수 있는가?
• RQ2 왜 데이터에 종속적인 PAC-Bayes 한계는 사전 자체가 예측할 수 있는 것 이상의 일반화를 설명하지 못하는가?
• RQ3 전이 학습이 일반화 한계를 어떻게 향상시키며, 이 개선은 압축 가능성 향상 때문인가?
• RQ4 데이터의 구조(예: 이미지의 공간적 구조)가 모델의 압축 가능성과 그에 따른 일반화 한계에 어떤 영향을 미치는가?
• RQ5 SGD나 웨이트 드레인의 암묵적 편향이 일반화에 기여하는가, 아니면 압축 가능성만으로도 충분한가?

주요 결과

• 제안된 압축 방법은 CIFAR-10과 MNIST에서 최신 기술 수준의 PAC-Bayes 일반화 한계를 달성하였으며, 이는 이전 연구보다 훨씬 더 날카로운 한계를 제공한다.
• 데이터에 독립적인 사전은 데이터에 종속적인 것보다 더 정보적인 한계를 제공한다. 사전 자체가 종종 전체 데이터에 종속적인 한계보다 잘 작동하거나 그에 못지않게 잘 작동한다.
• 전이 학습은 압축 가능성과 직접적으로 연결되어 있으며, 이는 일반화 한계를 더욱 날카롭게 하는 데 기여한다. 이는 전이 학습의 경험적 성공을 설명한다.
• CIFAR-10에서 픽셀이나 레이블을 무작위로 섞으면 모델의 압축 가능성은 급격히 감소하여 더 나쁜 한계로 이어지며, 이는 데이터의 구조가 압축 가능성에 의해 일반화를 가능하게 한다는 것을 보여준다.
• 회전 구조가 있는 작업에서, CNN과 같은 동치성 모델은 완전 연결 네트워크보다 더 압축 가능성이 높으며, 이는 그들의 뛰어난 일반화 성능을 설명한다.
• 일반화 오차에서 관찰되는 이중 내림막 현상은 PAC-Bayes 한계에서도 반복되며, 넓이가 더 커질수록 다시 개선됨을 보여주며, 이는 압축 가능성으로 전체 넓이와 아키텍처의 인도크티브 편향을 포괄할 수 있음을 시사한다.