[논문 리뷰] A unified recipe for deriving (time-uniform) PAC-Bayes bounds

Ben Chugg, Hongjian Wang외 1명|arXiv (Cornell University)|2023. 02. 07.

Statistical Methods and Inference인용 수 7

한 줄 요약

이 논문은 네 가지 도구를 결합하여 일반적이고 시간-일관한 PAC-Bayes 프레임워크를 제시한다. 이를 통해 비 i.i.d. 및 비정상 손실을 포괄하는 언제든지 유효한 경계로, 고전 PAC-Bayes 결과를 통합하고 확장한다.

ABSTRACT

We present a unified framework for deriving PAC-Bayesian generalization bounds. Unlike most previous literature on this topic, our bounds are anytime-valid (i.e., time-uniform), meaning that they hold at all stopping times, not only for a fixed sample size. Our approach combines four tools in the following order: (a) nonnegative supermartingales or reverse submartingales, (b) the method of mixtures, (c) the Donsker-Varadhan formula (or other convex duality principles), and (d) Ville's inequality. Our main result is a PAC-Bayes theorem which holds for a wide class of discrete stochastic processes. We show how this result implies time-uniform versions of well-known classical PAC-Bayes bounds, such as those of Seeger, McAllester, Maurer, and Catoni, in addition to many recent bounds. We also present several novel bounds. Our framework also enables us to relax traditional assumptions; in particular, we consider nonstationary loss functions and non-i.i.d. data. In sum, we unify the derivation of past bounds and ease the search for future bounds: one may simply check if our supermartingale or submartingale conditions are met and, if so, be guaranteed a (time-uniform) PAC-Bayes bound.

연구 동기 및 목표

• 폭넓은 확률 과정에 대해 임의의 정지 시점에서 모두 성립하는 일반적이고 시간-일관된 PAC-Bayes 경계 제공.
• 마르트가일런트 유사 구조를 식별하여 기존의 PAC-Bayes 경계를 하나의 프레임워크로 통합.
• PAC-Bayes 경계 내에서 i.i.d가 아니고 비정상 손실을 포함한 전통적 가정을 완화.
• 고전 경계(Seeger, McAllester, Maurer, Catoni)와의 구체적 상호연관 및 새로운 경계 도출 방법을 제시하는 구체적인 코롤러리 제공.

제안 방법

• 음이 아닌 슈퍼마르탈로그 또는 역부분마르탈로그로 상한이 주어지는 과정에 대한 일반 마스터 경계(정리 3.1) 식별.
• 보조 매개변수에 대한 사전(prior)을 적분하여 시간-일관 경계를 만드는 혼합 방법(KL 기반 분변 형태)을 사용.
• 돈스커-바다한 변화측정 공식(또는 φ-발산/레니 변형)을 적용하여 PAC-Bayes 형의 부등식을 얻는다.
• Ville의 부등식(전방 슈퍼마르탈로그 또는 역부분마르탈로그 형태)을 도입하여 시간-일관 보장을 얻는다.
• 해당 프레임워크가 기존의 경계들을 다수의 코롤러리로 되살리고 비 i.i.d. 및 비정상 설정으로 확장함을 보인다.

실험 결과

연구 질문

• RQ1 마르트니게일 유사 도구를 사용하여 광범위한 확률 과정에 대해 시간-일관(임의의 시점에서도 유효한) PAC-Bayes 경계가 도출될 수 있는가?
• RQ2 혼합, 변화측정, Ville의 부등식이 어떻게 결합되어 고전 PAC-Bayes 경계를 재현하고 확장하는가?
• RQ3 일반화된 시간-일관 PAC-Bayes 프레임워크 내에서 표준 가정(예: i.i.d., 정상성)의 어떤 이완이 허용되는가?
• RQ4 마스터 정리를 역부분마르탈로그 구조 및 KL 이외의 다른 발산에 적용하여 어떤 새로운 경계가 등장하는가?

주요 결과

• 음이 아닌 슈퍼마르탈로그 또는 역부분마르탈로그로 상한이 주어지는 어떤 과정에 대해서도 마스터 시간-일관 PAC-Bayes 경계(정리 3.1)가 성립한다.
• 비음수 마르트짱을 혼합하면 Ville의 부등식을 통해 다양한 손실 과정에 적용되는 시간-일관 경계가 만들어진다.
• 돈스커-바다한 변화측정 공식은 KL 기반 PAC-Bayes 경계를 시간-일관 설정으로 확장하게 하며, 코롤러리가 고전 경계를 복원한다.
• 이 프레임워크는 non-i.i.d 데이터와 nonstationary 손실을 수용하여 기존 및 새로운 경계를 위한 통일된 도출 경로를 가능하게 한다.
• 본 논문은 각 경계를 처음부터 재도출하기보다 마르트게일 조건을 확인하는 방식으로 시간-일관 PAC-Bayes 경-bound를 도출하는 체계적 레시피를 제시한다.