[논문 리뷰] A Primer on PAC-Bayesian Learning

Benjamin Guedj|arXiv (Cornell University)|2019. 01. 16.

Machine Learning and Algorithms참고 문헌 75인용 수 53

한 줄 요약

이 논문은 PAC-Bayes 프레임워크에 대한 자체 포함형 설문조사를 제공하며, 일반화 특성을 개략하고 PAC-Bayesian 학습의 주요 이론 및 알고리즘 개발을 조사한다.

ABSTRACT

Generalised Bayesian learning algorithms are increasingly popular in machine learning, due to their PAC generalisation properties and flexibility. The present paper aims at providing a self-contained survey on the resulting PAC-Bayes framework and some of its main theoretical and algorithmic developments.

연구 동기 및 목표

• PAC 일반화 특성과 유연성으로 인해 일반화된 베이지안 학습의 사용의 동기를 부여한다.
• PAC-Bayes 프레임워크와 그것의 핵심 이론적 결과를 요약한다.
• PAC-Bayesian 방법의 주요 알고리즘 개발 및 실용적 함의를 검토한다.

제안 방법

• PAC-Bayesian 프레임워크와 이것의 베이지안 학습 및 PAC 보장과의 관계를 설명한다.
• 주요 이론적 결과와 그것들이 일반화 경계에 대한 시사점을 조사한다.
• PAC-Bayesian 학습에서 주목할 만한 알고리즘적 접근법과 실제 고려사항을 논의한다.

실험 결과

연구 질문

• RQ1 일반화 보장을 가능하게 하는 핵심 PAC-Bayes 원칙은 무엇인가?
• RQ2 주요 이론적 결과는 무엇이며 그것이 알고리즘으로 어떻게 번역되는가?
• RQ3 PAC-Bayesian 학습에서 두드러진 알고리즘 개발과 그것의 실용적 함의는 무엇인가?

주요 결과

• PAC-Bayes 프레임워크에 대한 자체 포함형 설문을 제공한다.
• 일반화에 대한 함의를 가지는 필수 이론적 결과를 검토한다.
• PAC-Bayesian 학습 내에서 중요한 알고리즘 개발을 요약한다.