[논문 리뷰] PAC-Bayes with Backprop

Omar Rivasplata, Vikram M Tankasali외 1명|arXiv (Cornell University)|2019. 08. 19.

Adversarial Robustness in Machine Learning참고 문헌 32인용 수 15

한 줄 요약

이 논문은 역전파를 통한 확률적 신경망 학습을 위한 두 가지 새로운 PAC-Bayes 학습 목표인 PAC-Bayes-lambda와 PAC-Bayes-quadratic을 제안한다. 이 방법들은 MNIST에서 약 1.4%의 경쟁 가능한 테스트 오차를 달성하면서도 이전 작업보다 훨씬 더 날카롭고 비어 있지 않은 위험 한계(~2.3%)를 생성함으로써, 이론적 보장과 실용적 성능을 동시에 확보한 자가한계 학습에의 진전을 보여준다.

ABSTRACT

We explore the family of methods "PAC-Bayes with Backprop" (PBB) to train probabilistic neural networks by minimizing PAC-Bayes bounds. We present two training objectives, one derived from a previously known PAC-Bayes bound, and a second one derived from a novel PAC-Bayes bound. Both training objectives are evaluated on MNIST and on various UCI data sets. Our experiments show two striking observations: we obtain competitive test set error estimates (~1.4% on MNIST) and at the same time we compute non-vacuous bounds with much tighter values (~2.3% on MNIST) than previous results. These observations suggest that neural nets trained by PBB may lead to self-bounding learning, where the available data can be used to simultaneously learn a predictor and certify its risk, with no need to follow a data-splitting protocol.

연구 동기 및 목표

• 강한 일반화 성능과 날카운 위험 인증서를 동시에 달성하는 확률적 신경망을 위한 새로운 PAC-Bayes 학습 목표를 개발하는 것.
• 테스트 세트 오차 추정치와 비어 있지 않은 PAC-Bayes 위험 상한 사이의 격차를 줄여 더 정보적인 성능 보장을 가능하게 하는 것.
• 복잡한 사전 또는 최적화 기법을 사용하는 기존 방법에 비해 단순한 데이터 없는 사전과 표준 SGD를 사용하여 더 날카운 한계를 달성할 수 있는지 확인하는 것.
• PAC-Bayes와 역전파가 '자기한계 학습(self-bounding learning)'을 가능하게 하는지 조사하는 것. 여기서는 데이터 분할 없이도 위험 한계가 실제 테스트 성능과 밀접하게 따라붙는다.
• MNIST, UCI 벤치마크, 그리고 CIFAR-10에 대한 초도 실험을 포함한 다양한 데이터셋에서 방법의 일반화 능력을 평가하는 것.

제안 방법

• 이차 부등식을 푸는 방식으로 유도된 새로운 PAC-Bayes-quadratic 한계를 제안하여 일반화 위험에 대한 더 날카운 상한을 제공한다.
• Thiemann 등(2017)의 PAC-Bayes-lambda 한계를 기반으로 신경망 학습을 위한 기준 학습 목표로 활용한다.
• 표준 확률적 경사 하강법(SGD)을 사용하여 데이터에 의존하지 않는 고정된 사전을 활용해 확률적 신경망의 가중치 분포를 최적화한다.
• 역전파를 적용하여 네트워크 가중치에 대한 PAC-Bayes 목표의 기울기를 계산함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 가중치에 대한 사후 분포의 변분 근사(approximation)를 사용하여, PAC-Bayes 한계를 정규화된 학습 목표로 최소화한다.
• 경향적 정규화나 데이터 기반 사전을 피하고, 이론적으로 타당한 한계와 표준 최적화 기법에 의존한다.

실험 결과

연구 질문

• RQ1 PAC-Bayes와 역전파가 Blundell 등(2015)의 방법과 유사한 수준의 테스트 세트 오차를 달성할 수 있는가?
• RQ2 PBB가 도출하는 PAC-Bayes 위험 상한이 Dziugaite와 Roy(2017, 2018)의 이전 작업보다 현저히 날카로운가?
• RQ3 단순한 데이터 없는 사전과 표준 SGD를 사용할 경우, 실제 테스트 성능과 밀접하게 따라붙는 비어 있지 않은 한계를 도출할 수 있는가?
• RQ4 PBB 방법이 위험 인증서가 정보적이고 실제 테스트 오차에 가까운 자기한계 학습을 가능하게 하는가?
• RQ5 PBB 목표가 MNIST, UCI 벤치마크, 그리고 더 복잡한 데이터셋인 CIFAR-10을 포함한 다양한 데이터셋에서 일반화되는가?

주요 결과

• MNIST에서 PBB 방법은 테스트 오차 1.4% (0.014)를 달성하여 Blundell 등(2015)의 이전 최고 성능 방법과 동등하거나 이를 초월하였다.
• 도출된 최소 PAC-Bayes 위험 상한은 2.3% (0.023)였으며, 이는 이전 결과(예: Dziugaite와 Roy, 2018에서 0.21)에 비해 상당한 향상으로, 더 날카운 일반화 보장을 의미한다.
• 위험 인증서와 테스트 오차 추정치 사이의 격차가 크게 줄어들어, 한계가 정보적이며 비어 있지 않다는 것을 시사한다.
• UCI 데이터셋 다섯 개에 대한 실험을 통해 PBB 방법이 날카운 한계와 경쟁 가능한 테스트 성능을 유지함을 확인하여, MNIST를 초월한 일반화 능력을 뒷받침한다.
• CIFAR-10에 대한 초도 실험 결과, 위험 한계는 테스트 오차의 약 3배로 나타나, 더 큰 복잡도를 가진 데이터셋에서는 더 날카운 한계 확보가 여전히 도전 과제임을 시사한다.
• PAC-Bayes 목표에서 KL 발산 항목이 주요 병목 요소로 규명되었으며, 특히 깊은 네트워크에서 두드러져, 아키텍처나 사전 설계의 개선이 필요함을 시사한다.