[논문 리뷰] PAC-Bayes Analysis Beyond the Usual Bounds

Omar Rivasplata, Ilja Kuzborskij외 2명|arXiv (Cornell University)|2020. 06. 23.

Machine Learning and Algorithms참고 문헌 59인용 수 5

한 줄 요약

이 논문은 전통적인 가정을 초월해 확률적 커널에 대한 일반적인 PAC-Bayes 부등식을 도입함으로써, 유계 손실, i.i.d. 데이터, 고정된 사전 분포가 필요 없이도 분석을 확장한다. 데이터에 의존하는 사전 분포를 사용하여 비유계 손실(예: 제곱 손실)에 대한 새로운 경계를 유도하며, 손실의 모멘트가 서브-가우시안 또는 서브-엑스포네셜일 경우에도 지수적 모멘트 제어가 가능함을 보여주어 일반화 갭 경계의 수렴 속도가 O(1/√n)임을 입증한다.

ABSTRACT

We focus on a stochastic learning model where the learner observes a finite set of training examples and the output of the learning process is a data-dependent distribution over a space of hypotheses. The learned data-dependent distribution is then used to make randomized predictions, and the high-level theme addressed here is guaranteeing the quality of predictions on examples that were not seen during training, i.e. generalization. In this setting the unknown quantity of interest is the expected risk of the data-dependent randomized predictor, for which upper bounds can be derived via a PAC-Bayes analysis, leading to PAC-Bayes bounds. Specifically, we present a basic PAC-Bayes inequality for stochastic kernels, from which one may derive extensions of various known PAC-Bayes bounds as well as novel bounds. We clarify the role of the requirements of fixed 'data-free' priors, bounded losses, and i.i.d. data. We highlight that those requirements were used to upper-bound an exponential moment term, while the basic PAC-Bayes theorem remains valid without those restrictions. We present three bounds that illustrate the use of data-dependent priors, including one for the unbounded square loss.

연구 동기 및 목표

• 유계 손실, i.i.d. 데이터, 고정된 사전 분포 등의 표준 가정을 완화하는 PAC-Bayes 프레임워크를 개발하는 것.
• 학습 데이터에서 가설 공간으로의 확률적 커널로서 가설에 대한 데이터에 의존하는 분포를 체계적으로 정의하는 것.
• 유계가 아닌 손실 함수(예: 제곱 손실)에 대해 느슨한 모멘트 조건 하에서 일반화 경계를 도출하는 것.
• PAC-Bayes 분석에서 가정의 역할을 명확히 하여, 이러한 가정들이 핵심 정리의 무효화를 위한 것이 아니라 지수적 모멘트를 제어하기 위한 데 주로 사용된다는 것을 보여주는 것.
• 서브-가우시안 또는 서브-엑스포네셜 손실 모멘트 조건 하에서 데이터에 의존하는 사전 분포를 사용해 날카운 일반화 경계가 실현 가능하다는 것을 보여주는 것.

제안 방법

• 학습 데이터 공간 S에서 가설 공간 H로의 데이터에 의존하는 분포를 확률적 커널로 체계화하여, 랜덤화된 예측기의 엄밀한 다루기가 가능하도록 하는 것.
• 확률적 커널에 대한 일반적인 PAC-Bayes 부등식을 유도하며, 이를 통해 기존 및 새로운 경계를 도출할 수 있도록 하는 것.
• 비유계 손실 하에서 일반화 갭의 지수적 모멘트를 제어하기 위해 생성함수(MGF) 기법을 사용하는 것.
• 유계 손실 가정을 피하기 위해 제곱 손실에 대한 경계를 도입하며, 이는 E[ℓ(h,Z)²] < ∞ 인 두 번째 모멘트 유한성 조건을 가정함으로써 이루어진다.
• 데이터에 의존하는 사전 분포를 적용하여, 고정된 사전 분포가 없더라도 표준 PAC-Bayes 프레임워크가 그대로 유효함을 보여주는 것.
• λ의 선택을 통해 경험 위험과 KL 발산 사이의 트레이드오프를 최적화하여 일반화 갭 경계가 O(1/√n)의 순서로 수렴함을 도출한다.

실험 결과

연구 질문

• RQ1 유계 손실이나 i.i.d. 데이터 가정 없이도 PAC-Bayes 경계를 도출할 수 있는가?
• RQ2 고정된 사전 분포가 PAC-Bayes 분석에서 어떤 역할을 하는가? 그리고 이를 데이터에 의존하는 사전 분포로 대체할 수 있는가?
• RQ3 제곱 손실과 같은 비유계 손실 함수에 대해 일반화 경계를 어떻게 구성할 수 있는가?
• RQ4 손실 함수에 대해 유계가 아닐 경우, 지수적 모멘트를 제어할 수 있는 조건은 무엇인가?
• RQ5 i.i.d. 표본 추출이 필요 없이 표준 PAC-Bayes 정리가 확률적 커널로 확장될 수 있는가?

주요 결과

• 확률적 커널에 대해 유계 손실, i.i.d. 데이터, 고정된 사전 분포가 필요 없이도 유효한 일반 PAC-Bayes 부등식이 확립되었다.
• 핵심 PAC-Bayes 정리는 지수적 모멘트가 전통적 가정에 의해 유계가 아니더라도, MGF가 모멘트 조건을 통해 제어될 수 있다면 여전히 유효하다.
• sup_h E[ℓ(h,Z)²] < ∞ 라는 조건 하에서 비유계 제곱 손실에 대한 새로운 경계가 도출되었으며, 이는 서브-가우시안 또는 서브-엑스포네셜 손실에서 성립한다.
• 결과적으로 일반화 갭 경계는 O(1/√n)로 수렴하며, 최적의 λ 선택에 의해 Q_S[L] ≤ Q_S[̂L_S] + 2√(B M / (2n)) 형태의 경계를 얻을 수 있으며, 여기서 B는 KL 발산이고 M은 두 번째 모멘트 유계이다.
• 데이터에 의존하는 사전 분포의 사용이 실현 가능하고 효과적임을 입증하였으며, 경계 구조는 표준 형태를 유지하지만 더 유연한 사전 설계를 가능하게 한다.
• 논문은 유계 손실과 i.i.d. 데이터 가정이 핵심 정리의 무효화를 위한 것이 아니라, 주로 지수적 모멘트를 상한으로 제어하기 위한 데 사용된다는 점을 명확히 했다.