[논문 리뷰] Tighter risk certificates for neural networks

María Pérez‐Ortiz, Omar Rivasplata외 2명|Research Explorer (The University of Manchester)|2020. 07. 25.

Adversarial Robustness in Machine Learning참고 문헌 63인용 수 32

한 줄 요약

이 논문은 tight PAC-Bayes 리스크 한계로부터 도출된 학습 목표를 사용하여 확률적 신경망의 학습을 경험적으로 연구하고, 두 가지 새로운 목표를 제안하며 고전적 한계와 비교하여 비빈도적이고 더 촘촘한 리스크 인증서와 경쟁력 있는 테스트 오차를 얻는지 평가합니다.

ABSTRACT

This paper presents an empirical study regarding training probabilistic neural networks using training objectives derived from PAC-Bayes bounds. In the context of probabilistic neural networks, the output of training is a probability distribution over network weights. We present two training objectives, used here for the first time in connection with training neural networks. These two training objectives are derived from tight PAC-Bayes bounds. We also re-implement a previously used training objective based on a classical PAC-Bayes bound, to compare the properties of the predictors learned using the different training objectives. We compute risk certificates for the learnt predictors, based on part of the data used to learn the predictors. We further experiment with different types of priors on the weights (both data-free and data-dependent priors) and neural network architectures. Our experiments on MNIST and CIFAR-10 show that our training methods produce competitive test set errors and non-vacuous risk bounds with much tighter values than previous results in the literature, showing promise not only to guide the learning algorithm through bounding the risk but also for model selection. These observations suggest that the methods studied here might be good candidates for self-certified learning, in the sense of using the whole data set for learning a predictor and certifying its risk on any unseen data (from the same distribution as the training data) potentially without the need for holding out test data.

연구 동기 및 목표

• PAC-Bayes 한계를 학습 목표로 사용하여 확률적 신경망 학습을 조사한다.
• tight bound로부터 파생된 두 가지 새로운 PAC-Bayes 기반 학습 목표를 도입한다.
• 새로운 목표를 고전적 PAC-Bayes 목표와 비교하여 예측기 품질과 리스크 인증서를 평가한다.
• MNIST와 CIFAR-10에서 촘촘하고 비빈도적 리스크 인증서를 계산하는 능력을 보여준다.

제안 방법

• 가중치의 분포로 신경망을 정의하고 확률적 경사 하강법으로 학습한다.
• 두 가지 새로운 목표: PAC-Bayes-quad bound에서 파생된 f_quad와 PAC-Bayes-lambda bound에서 파생된 f_lambda를 개발한다.
• 비교를 위한 고전적 PAC-Bayes 목표(f_classic)를 재구현한다.
• 학습된 예측기에 대해 학습 데이터의 일부를 이용해 리스크 인증서를 계산한다.
• 데이터 프리 priors 및 데이터 의존 priors와 다양한 아키텍처를 실험한다.
• PAC-Bayes와 Backprop의 관계를 Bayes-by-Backprop과 대조되는 학습 전략과 연결한다.

실험 결과

연구 질문

• RQ1 PAC-Bayes 기반 학습 목표가 비빈도적이고 촘촘한 리스크 인증서를 제공하면서 경쟁력 있는 테스트 오차를 낼 수 있는가?
• RQ2 제안된 f_quad 및 f_lambda 목표가 고전적 PAC-Bayes 목표보다 더 촘촘한 인증서를 생성하는가?
• RQ3 데이터 의존적 vs 데이터 프리 프라이어가 리스크 인증서와 예측 성능에 어떤 영향을 미치는가?
• RQ4 모든 데이터를 학습에 사용하고 보지 않는 데이터에서 리스크를 인증하는 자기 인증 학습이 가능한가?
• RQ5 네트워크 아키텍처(완전 연결 vs 합성곱)의 인증서 촘촘함과 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 PBB 학습 목표는 기존 방법과 비교하여 경쟁력 있는 테스트 세트 오차를 달성한다.
• 새로운 목표들로 생성된 리스크 인증서는 고전적 한계보다 촘촘하다.
• MNIST와 CIFAR-10에서 학습된 신경망에 대해 비빈도적 리스크 한계를 실현하는 방향을 보여준다.
• 고전적 목표를 재구현해도 개선된 결과를 얻을 수 있으며, 이는 학습 전략이 이득에 기여함을 시사한다.
• 데이터 의존적 프라이어와 다양한 아키텍처가 인증서의 촘촘함과 예측 성능에 영향을 준다.
• 결과는 unseen 데이터에 대한 리스크 인증과 예측기 학습을 결합한 자기 인증 학습을 뒷받침한다.