[논문 리뷰] Learning PAC-Bayes Priors for Probabilistic Neural Networks

María Pérez‐Ortiz, Omar Rivasplata외 6명|arXiv (Cornell University)|2021. 09. 21.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 7

한 줄 요약

이 논문은 일반화 경계와 분류기 성능을 햖थ하기 위해 확률적 신경망에 대한 데이터에 의존하는 PAC-Bayes 사전 분포를 학습하는 것을 조사한다. 다양한 목표—베이지안 기반 및 데이터 증강 방법 포함—를 사용하여 데이터의 부분 집합에서 사전 분포를 학습함으로써, 최적화된 사전 분포가 여섯 개의 데이터셋에서 조건부로 날카운 리스크 증거를 제공함을 보여주며, 과도하게 파rameter화된 모델에서도 마찬가지로 성능을 발휘함으로써 자기 인증 학습의 발전을 이룬다.

ABSTRACT

Recent works have investigated deep learning models trained by optimising PAC-Bayes bounds, with priors that are learnt on subsets of the data. This combination has been shown to lead not only to accurate classifiers, but also to remarkably tight risk certificates, bearing promise towards self-certified learning (i.e. use all the data to learn a predictor and certify its quality). In this work, we empirically investigate the role of the prior. We experiment on 6 datasets with different strategies and amounts of data to learn data-dependent PAC-Bayes priors, and we compare them in terms of their effect on test performance of the learnt predictors and tightness of their risk certificate. We ask what is the optimal amount of data which should be allocated for building the prior and show that the optimum may be dataset dependent. We demonstrate that using a small percentage of the prior-building data for validation of the prior leads to promising results. We include a comparison of underparameterised and overparameterised models, along with an empirical study of different training objectives and regularisation strategies to learn the prior distribution.

연구 동기 및 목표

• 데이터에 의존하는 PAC-Bayes 사전 분포를 학습하는 것이 확률적 신경망의 성능과 일반화 보장에 미치는 영향을 조사하는 것.
• 효과적인 사전 분포를 학습하기 위해 필요한 최적의 데이터 양을 결정하며, 데이터셋 별 트레이드오���에 초점을 맞추는 것.
• 다양한 학습 목표와 정규화 전략이 날카운 리스크 증거를 도출하는 데 효과적인 사전 분포를 학습하는 데 미치는 영향을 평가하는 것.
• 과도하게 파rameter화된 모델이 학습된 사전 분포를 사용할 경우 강력한 일반화 보장을 달성할 수 있는지 평가하는 것.
• 데이터 증강과 드롭아웃이 사전 분포 학습 및 최종 리스크 증거의 날카움에 기여하는 역할을 탐색하는 것.

제안 방법

• 저자들은 PAC-Bayes 경계를 최적화함으로써 확률적 신경망을 학습하며, 사전 분포는 훈련 데이터의 부분 집합에서 학습되어, 경험 리스크 항과의 데이터 독립성을 확보한다.
• 다양한 사전 분포 학습을 위한 학습 목표를 비교하며, 경험 리스크 최소화(ERM), 베이지안 기반 목표(예: BNN 스타일의 ELBO), 및 미크스업 기반 정규화를 포함한다.
• 사후 분포와 사전 분포 간의 KL 발산 항을 정규화 항으로 사용하며, KL 무게 계수의 초모수 스윕을 통해 기반으로 하는 기반 기반 최적화 방법을 통해 사전 분포를 최적화한다.
• 이 방법은 리스크 증거(일반화 오차의 상한)와 테스트 데이터에서의 스토하스틱 0-1 오차를 평가하며, 사전 분포 학습에 사용된 데이터 비율을 다양하게 조절(10%, 25%, 50%)한다.
• 데이터 증강 기법인 미크스업과 드롭아웃을 사전 분포 학습 중 적용하여 일반화 성능과 사전 분포 품질을 향상시킨다.
• 이 접근법은 MNIST, CIFAR-10 및 테이블 형식의 데이터셋을 포함한 여섯 개의 다양한 데이터셋에서 평가되며, 완전 연결 및 합성곱 신경망 모두를 대상으로 한다.

실험 결과

연구 질문

• RQ1 사전 분포를 학습하기 위해 훈련 데이터의 최적 비율은 얼마이며, 이 비율은 데이터셋에 따라 달라지는가?
• RQ2 사전 분포 학습을 위한 다양한 학습 목표가 리스크 증거의 날카움과 테스트 정확도에 어떤 영향을 미치는가?
• RQ3 데이터에 의존하는 사전 분포가 과도하게 파rameter화된 신경망에서 일반화 경계를 크게 향상시킬 수 있는가?
• RQ4 사전 분포 학습 중 데이터 증강이 더 날카운 리스크 증거와 더 나은 분류기 성능을 이끌어내는가?
• RQ5 특히 정보가 있는 사전과 없는 사전의 선택이 최적화 과정과 최종 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 모든 여섯 개의 데이터셋에서 리스크 증거의 날카움이 일관되게 높아, 데이터와 아키텍처의 다양성에 대해 이 방법의 강건성을 보여준다.
• 전체 사전 분포를 학습하는 데 베이지안 기반 목표($f_{\texttt{bbb}}$)를 사용할 경우, ERM 기반 사전 분포보다 더 날카운 리스크 증거와 낮은 스토하스틱 0-1 오차를 달성한다.
• 사전 분포 학습 중에 미크스업 정규화를 적용하면 성능이 크게 향상되어, 단지 10%의 데이터만 사용해도 ERM 기반 50% 데이터 학습보다 더 날카운 증거를 도출할 수 있다.
• MNIST에서 25%의 훈련 데이터를 사용할 경우, 미크스업 기반 사전 분포 학습은 리스크 증거 0.041과 스토하스틱 0-1 오차 0.025를 달성했으며, ERM 기반 50% 데이터 학습보다 뛰어난 성능을 보였다.
• 사전 분포 학습 중 드롭아웃을 적용하면 성능이 추가로 향상되어, 50%의 데이터를 사용할 경우 리스크 증거는 0.026으로 감소하고 오차는 0.020으로 내려갔다.
• PAC-Bayes 경계에서 KL 항이 경계 값의 주요 기여 요소로 작용하여, 잘 선택된 사전 분포가 날카운 일반화 보장을 확보하는 데 핵심적임을 시사한다.