[논문 리뷰] User-friendly introduction to PAC-Bayes bounds

Pierre Alquier|arXiv (Cornell University)|2021. 10. 21.

Neural Networks and Applications인용 수 24

한 줄 요약

이 튜토리얼은 PAC-Bayes 경계를 소개하고, 간단한 것부터 고급까지의 경계, Catoni’s 방법과 Donsker-Varadhan를 통한 도출, 무작위화된 및 집계된 예측기에 적용되는 방식, 그리고 딥러닝과의 연결을 다룬다.

ABSTRACT

Aggregated predictors are obtained by making a set of basic predictors vote according to some weights, that is, to some probability distribution. Randomized predictors are obtained by sampling in a set of basic predictors, according to some prescribed probability distribution. Thus, aggregated and randomized predictors have in common that they are not defined by a minimization problem, but by a probability distribution on the set of predictors. In statistical learning theory, there is a set of tools designed to understand the generalization ability of such procedures: PAC-Bayesian or PAC-Bayes bounds. Since the original PAC-Bayes bounds of D. McAllester, these tools have been considerably improved in many directions (we will for example describe a simplified version of the localization technique of O. Catoni that was missed by the community, and later rediscovered as "mutual information bounds"). Very recently, PAC-Bayes bounds received a considerable attention: for example there was workshop on PAC-Bayes at NIPS 2017, "(Almost) 50 Shades of Bayesian Learning: PAC-Bayesian trends and insights", organized by B. Guedj, F. Bach and P. Germain. One of the reason of this recent success is the successful application of these bounds to neural networks by G. Dziugaite and D. Roy. An elementary introduction to PAC-Bayes theory is still missing. This is an attempt to provide such an introduction.

연구 동기 및 목표

• 이 분야에 새로 진입한 연구자들을 위한 PAC-Bayes 이론에 대한 접근 가능한 소개를 제공합니다.
• PAC-Bayes 경계가 무한한 예측기 공간으로의 합집합(bound) 주장들을 어떻게 확장하는지 설명합니다.
• Catoni의 프레임워크를 사용하여 경험적 및 오라클 PAC-Bayes 경계를 도출하고 해석하는 방법을 보여줍니다.

제안 방법

• 예측기 공간에 사전분포를 고정하고 데이터 의존적 후포스터에 대해 균일하게 성립하는 위험 경계를 도출합니다.
• Hoeffding 부등식과 Markov/Chernoff 경계를 사용하여 경험적 위험과 실제 위험 간의 편차를 한정합니다.
• Donsker-Varadhan의 변분 공식을 적용하여 Gibbs-포스터를 최소화하는 문제를 얻습니다.
• 유한 및 일반 예측기 집합에 대한 명시적 경계를 도출하고 Gibbs 포스터 구성 포함.
• 집계 및 무작위 예측기에 대한 확장과 비 iid 또는 heavy-tailed 설정에 대한 확장(개요)을 논의합니다.

실험 결과

연구 질문

• RQ1 간단한 집중 불변식으로부터 PAC-Bayes 경계를 어떻게 도출할 수 있는가?
• RQ2 KL 발산이 유한한 예측기 공간에서 무한한 공간으로 경계를 확장하는 데 어떤 역할을 하는가?
• RQ3 Gibbs 사후분포가 PAC-Bayes 프레임워크에서 위험을 최소화하는 데이터 의존 분포로 어떻게 도출되는가?
• RQ4 실험적 위험 최소화(ERM) 및 예측기들의 집계에 대한 PAC-Bayes 경계의 함의는 무엇인가?
• RQ5 경험적 PAC-Bayes 경계가 오라클 PAC-Bayes 경계 및 빠른 속도 결과와 어떻게 연결되는가?

주요 결과

• 간단한 PAC-Bayes 경계( Catoni’s bound )는 어떤 포스터에 대해서도 평균 위험을 경험적 위험과 사전에 대한 KL 발산을 포함하는 항으로 제한한다.
• Gibbs 포스터는 Corollary 2.3의 의미에서 PAC-Bayes 경계를 최소화하며, 경험적 위험, 사전, 그리고 KL 발산을 통해 복잡성을 연결한다.
• 유한 Θ의 경우 경계는 log( M )항이 있는 ERM과 유사한 형태를 회복하고, λ 선택에 방향을 제시하며 명시적 속도를 이끈다.
• 경험적 경계는 일반화를 증명하고 ERM을 동기부여하는 데 사용될 수 있으며, 오라클 경계는 데이터 증가에 따른 달성 가능한 성능의 이론적 한계를 제공한다.
• 이 프레임워크는 딥러닝 경계(비허무적이지 않은 경계 및 데이터 의존 사전)로의 다리를 놓고, 다른 관련 접근법(MI 경계, 베이지안 포스터리어)과 연결한다.