[논문 리뷰] PAC-Bayes, MAC-Bayes and Conditional Mutual Information: Fast rate bounds that handle general VC classes

Peter Grünwald, Thomas Steinke외 1명|arXiv (Cornell University)|2021. 06. 17.

Machine Learning and Algorithms참고 문헌 35인용 수 6

한 줄 요약

이 논문은 임의의 VC 클래스를 다룰 수 있고, 베르누이 조건 하에서 또는 지수-볼록 손실 함수에 대해 $O((\mathrm{KL}/n)^\gamma)$의 빠른 수렴 속도($\gamma > 1/2$)를 달성하는 조건부 PAC-Bayesian 및 상호정보량(MI) 일반화 경계를 통합하는 프레임워크를 제안한다. 이 방법은 복합 학습 및 가짜 샘플에 대한 조건부로 의존하는 사전을 사용하여, 기존의 표준 PAC-Bayesian 및 MI 방법의 한계를 넘어선 더 날카운 데이터 기반 경계를 가능하게 한다.

ABSTRACT

We give a novel, unified derivation of conditional PAC-Bayesian and mutual information (MI) generalization bounds. We derive conditional MI bounds as an instance, with special choice of prior, of conditional MAC-Bayesian (Mean Approximately Correct) bounds, itself derived from conditional PAC-Bayesian bounds, where `conditional' means that one can use priors conditioned on a joint training and ghost sample. This allows us to get nontrivial PAC-Bayes and MI-style bounds for general VC classes, something recently shown to be impossible with standard PAC-Bayesian/MI bounds. Second, it allows us to get faster rates of order $O \left(({ ext{KL}}/n)^γ ight)$ for $γ> 1/2$ if a Bernstein condition holds and for exp-concave losses (with $γ=1$), which is impossible with both standard PAC-Bayes generalization and MI bounds. Our work extends the recent work by Steinke and Zakynthinou [2020] who handle MI with VC but neither PAC-Bayes nor fast rates, the recent work of Hellström and Durisi [2020] who extend the latter to the PAC-Bayes setting via a unifying exponential inequality, and Mhammedi et al. [2019] who initiated fast rate PAC-Bayes generalization error bounds but handle neither MI nor general VC classes.

연구 동기 및 목표

• 표준 PAC-Bayesian 및 상호정보량 경계가 임의의 VC 클래스에 대해 비자명한 일반화 오차 경계를 제공하지 못하는 오랜 한계를 해결하기 위해.
• 이전에 특정 손실 유형이나 알고리즘에 국한되어 있던 빠른 수렴 경계를 조건부로 의존하는 데이터 기반 사전 메커니즘을 통해 일반 VC 클래스로 확장하기 위해.
• 조건부 기대값과 지수 확률 부등식(ESIs)을 사용하여, 조건부 PAC-Bayesian 및 MI 스타일 경계를 하나의 이론적 프레임워크로 통합하기 위해.
• 조건부 사전을 통해 $O((\mathrm{KL}/n)^\gamma)$의 수렴 속도를 $\gamma > 1/2$로 달성할 수 있도록 하며, 특히 지수-볼록 손실 함수에 대해 $\gamma = 1$을 달성할 수 있도록 하여, 기존 방법으로는 달성할 수 없는 성능을 달성하기 위해.

제안 방법

• 학습 샘플과 가짜 샘플에 조건부로 의존하는 사전을 사용하여 조건부 PAC-Bayesian 경계를 유도함으로써, 보다 민첩하고 날카운 사후 추정이 가능하도록 함.
• 기존의 PAC-Bayesian 경계를 일반화한 새로운 조건부 MAC-Bayesian 경계를 제안함. 이 경우 사전이 보조 데이터에 의존할 수 있도록 허용함.
• 지수 확률 부등식(ESIs)을 사용하여 고확률 및 기대값 기반 경계를 통합적으로 표현함으로써, 일반화 오차 경계의 깔끔한 유도를 가능하게 함.
• 특정 사전 분포를 선택함으로써 조건부 MI 경계가 조건부 MAC-Bayesian 경계의 특수한 경우로 나타남을 보임.
• 조건부 구조를 활용하여, 손실 함수의 곡률에 따라 $\gamma$에 의존하는 빠른 수렴 속도를 도출함.
• Gibbs 알고리즘에 압축 기반 사전을 적용하여, 기본 알고리즘이 ERM가 아니더라도 빠른 수렴 속도를 달성하는 경계를 도출함.

실험 결과

연구 질문

• RQ1 PAC-Bayesian 및 상호정보량 일반화 경계는 임의의 VC 클래스로 확장될 수 있는가? 이는 기존 표준 방법의 알려진 불가능성 결과를 극복할 수 있는가?
• RQ2 조건부 사전를 사용하여 일반 VC 클래스에 대해 $O((\mathrm{KL}/n)^\gamma)$의 수렴 속도를 $\gamma > 1/2$로 달성할 수 있는가?
• RQ3 조건부 MAC-Bayesian 공식화를 통해 조건부 PAC-Bayesian 및 MI 스타일 경계를 하나의 이론적 프레임워크로 통합할 수 있는가?
• RQ4 유도된 경계를 진정한 위험 또는 최적의 가설에 대한 지식 없이도 완전히 경험적 경계로 만들 수 있는가?
• RQ5 분석상의 Lemma 1에 따르면, 이 프레임워크는 유계가 아니고, 서브-가우시안 손실으로까지 확장될 수 있는가?

주요 결과

• 논문은 조건부 사전를 사용함으로써 모든 VC 클래스에 대해 비자명한 일반화 경계가 가능함을 입증함으로써, 기존 표준 PAC-Bayesian 및 MI 경계의 핵심 한계를 해결함.
• 조건부 사전를 통해 $O((\mathrm{KL}/n)^\gamma)$의 수렴 속도를 $\gamma > 1/2$로 달성함. 특히 지수-볼록 손실 함수에 대해 $\gamma = 1$을 달성함으로써, 기존의 표준 PAC-Bayesian 또는 MI 방법으로는 달성할 수 없는 성능을 달성함.
• 조건부 MI 경계가 제안된 조건부 MAC-Bayesian 프레임워크의 특수한 경우로 나타남을 보이며, 두 주요 일반화 철학을 통합함.
• Gibbs 알고리즘에 압축 기반 사전를 사용할 경우, 기본 알고리즘이 ERM가 아니더라도 빠른 수렴 속도를 달성할 수 있음.
• 베르누이 조건 하에서 탈편향 기법을 결합할 경우, 유도된 경계는 완전히 경험적 경계가 되며, Mhammedi 등(2019)의 이전 연구에 따라 가능함.
• 이 방법은 데이터 기반 사전과 KL 발산 항목의 더 엄밀한 제어를 가능하게 하여, 딥 러닝에서의 일반화 분석을 위한 새로운 방법을 제공함.