[논문 리뷰] PAC-Bayes Information Bottleneck

Zifeng Wang, Shao-Lun Huang외 4명|arXiv (Cornell University)|2021. 09. 29.

Machine Learning and Algorithms참고 문헌 45인용 수 11

한 줄 요약

이 논문은 신경망 가중치에 저장된 정보(IIW)를 사용하여 딥 러닝 일반화를 설명하는 새로운 정보이론적 프레임워크인 PAC-Bayes 정보 뱅크릿(PIB)을 소개한다. IIW를 PAC-Bayes 경계를 통해 근사하고 SGLD를 통해 베이지안 추론을 가능하게 함으로써, 훈련 중에 적합성에서 압축으로의 전이를 식별하며, 표준 정규화 방법보다 일관되게 뛰어난 성능을 보이고, 노이즈가 있는 레이블과 다양한 배치 크기와 같은 다양한 설정에서 일반화를 설명한다.

ABSTRACT

Understanding the source of the superior generalization ability of NNs remains one of the most important problems in ML research. There have been a series of theoretical works trying to derive non-vacuous bounds for NNs. Recently, the compression of information stored in weights (IIW) is proved to play a key role in NNs generalization based on the PAC-Bayes theorem. However, no solution of IIW has ever been provided, which builds a barrier for further investigation of the IIW's property and its potential in practical deep learning. In this paper, we propose an algorithm for the efficient approximation of IIW. Then, we build an IIW-based information bottleneck on the trade-off between accuracy and information complexity of NNs, namely PIB. From PIB, we can empirically identify the fitting to compressing phase transition during NNs' training and the concrete connection between the IIW compression and the generalization. Besides, we verify that IIW is able to explain NNs in broad cases, e.g., varying batch sizes, over-parameterization, and noisy labels. Moreover, we propose an MCMC-based algorithm to sample from the optimal weight posterior characterized by PIB, which fulfills the potential of IIW in enhancing NNs in practice.

연구 동기 및 목표

• 딥 러닝 일반화를 설명할 수 있는 실용적이고 이론적으로 탄탄한 신경망 가중치에 저장된 정보(IIW) 측정법의 부족을 해결하기 위해.
• 비어나지 않는 일반화 경계를 제공하고 훈련 중의 적합-압축 전이를 포착할 수 있는, PAC-Bayes 기반 정보 뱅크릿(PIB)을 개발하기 위해.
• PIB 프레임워크에 기반한 SGLD를 활용해 대규모 딥 네트워크에서 효율적인 베이지안 추론을 가능하게 하여 일반화 성능을 향상시키기 위해.
• 다양한 훈련 조건(노이즈가 있는 레이블, 다양한 배치 크기 포함)에서 IIW가 모델 복잡도와 일반화를 나타내는 보편적 측정법임을 실증적으로 검증하기 위해.

제안 방법

• 신경망 가중치와 훈련 데이터 간의 상호정보 I(w;S)를 기반으로 한 새로운 정보 뱅크릿 프레임워크인 PAC-Bayes 정보 뱅크릿(PIB)을 제안하며, 이는 PAC-Bayes 일반화 경계를 활용한다.
• PAC-Bayes 프레임워크 내에서 변분 추론 접근법을 사용하여 계산이 불가능한 I(w;S)에 대한 효율적인 근사 방법을 개발한다.
• PIB에서 정의된 최적의 사후 분포를 가중치에 대해 샘플링할 수 있도록 SGLD 기반의 베이지안 추론 알고리즘을 설계하며, 실용적 구현을 가능하게 한다.
• 기존의 SGD 기반 훈련 파ip라인과 원활하게 통합할 수 있도록, PIB에서 유도된 에너지 함수를 도입하여 확률적 최적화를 이끌어낸다.
• 기존의 신경망 아키텍처를 변경하지 않고도 어떤 사전 훈련된 신경망에 PIB 정규화를 보완적으로 적용할 수 있는 플러그 앤 플레이 모듈형 설계를 구현한다.
• CIFAR-10/100, SVHN, STL-10에서 다양한 초모수, 레이블 노이즈, 배치 크기를 포함한 광범위한 실험을 통해 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크에서 적합성 이후에 압축으로의 전이를 보이는 유일한 이중단계 훈련 행동(적합 → 압축)이 존재하는가? 그리고 이는 표현이 아닌 가중치에 저장된 정보를 통해 포착될 수 있는가?
• RQ2 가중치에 저장된 정보(IIW)는 다양한 아키텍처와 데이터 조건에서 일반화를 설명할 수 있는 이론적으로 탄탄하고 비어나지 않는 모델 복잡도 측정법이 될 수 있는가?
• RQ3 IIW는 레이블 노이즈, 과도한 파rameter화, 다양한 배치 크기 조건에서 일반화 갭과 어떻게 관련되어 있는가?
• RQ4 PIB 프레임워크를 활용해 대규모 딥 네트워크에서 일반화 성능을 향상시키는 실용적인 베이지안 추론 방법을 설계할 수 있는가?

주요 결과

• PIB 프레임워크는 ReLU, 시그모이드, 탄젠트, 선형 활성 함수를 포함한 다양한 활성 함수에서 훈련 중에 명확한 적합-압축 전이를 식별하는 데 성공한다.
• PIB로 훈련된 모델은 CIFAR-10에서 80.19%의 테스트 정확도를 기록하며, 라이브러리 기반 SGD(77.03%), ℓ2 정규화를 적용한 SGD(77.13%), 드롭아웃을 적용한 SGD(78.95%)를 모두 능가한다. 95% 신뢰구간은 (0.42)이다.
• IIW는 배치 크기가 16일 때 최소화되며, 이는 일반화 갭이 최소이고 테스트 정확도가 가장 높을 때와 일치한다. 이는 최적의 배치 크기가 존재함을 시사한다.
• 랜덤 레이블로 훈련할 경우에도 IIW는 일반화 갭을 효과적으로 포착한다. 이 경우 테스트 정확도는 약 10%를 유지하지만 IIW는 크게 증가하여 데이터 분포 불일치에 민감함을 보인다.
• 특히 넓은 네트워크에서는 ℓ2 노름이 증가하는 반면 IIW는 안정화되거나 감소함을 보이며, 이는 IIW가 ℓ2 노름보다 더 나은 일반화 상관관계를 반영함을 시사한다.
• SGLD 기반 추론 알고리즘은 PIB 최적화 사후 분포에서 성공적으로 샘플링을 수행하며, 개선된 일반화 성능를 보이는 실용적인 베이지안 딥 러닝을 가능하게 한다.