[논문 리뷰] Efron-Stein PAC-Bayesian Inequalities

Ilja Kuzborskij, Csaba Szepesvári|arXiv (Cornell University)|2019. 09. 04.

Machine Learning and Algorithms참고 문헌 43인용 수 4

한 줄 요약

이 논문은 순간 조건이 없는 독립적인 랜덤 변수의 함수에 대해 데이터 기반 농도 경계를 제공하는 반경험적 Efron-Stein PAC-Bayesian 부등식을 도입한다. 이는 모멘트 가정 없이도 작동하며, Efron-Stein 분산 추정량과 모멘트 생성 함수를 활용해 새로운 베르누이 스타일의 부등식을 유도하고, 비유계 손실 함수, 가중 중요도 샘플링을 사용한 오프-폴리시 평가, PAC-Bayesian 학습에 적용하여 더 날카운, 잘라내기 없는 일반화 경계를 도출한다.

ABSTRACT

We prove semi-empirical concentration inequalities for random variables which are given as possibly nonlinear functions of independent random variables. These inequalities describe concentration of random variable in terms of the data/distribution-dependent Efron-Stein (ES) estimate of its variance and they do not require any additional assumptions on the moments. In particular, this allows us to state semi-empirical Bernstein type inequalities for general functions of unbounded random variables, which gives user-friendly concentration bounds for cases where related methods (e.g. bounded differences) might be more challenging to apply. We extend these results to Efron-Stein PAC-Bayesian inequalities which hold for arbitrary probability kernels that define a random, data-dependent choice of the function of interest. Finally, we demonstrate a number of applications, including PAC-Bayesian generalization bounds for unbounded loss functions, empirical Bernstein type generalization bounds, new truncation-free bounds for off-policy evaluation with Weighted Importance Sampling (WIS), and off-policy PAC-Bayesian learning with WIS.

연구 동기 및 목표

• 모멘트 가정이나 유계 차분 조건 없이 독립적인 랜덤 변수의 일반 함수에 대한 농도 부등식을 개발하는 것.
• 데이터 기반 함수 선택을 고려한 PAC-Bayesian 설정에서 Efron-Stein 분산 추정량을 확장하는 것.
• Efron-Stein 추정량을 사용해 비유계 랜덤 변수에 대한 반경험적 베르누이 스타일의 부등식을 도출하는 것.
• 비유계 손실 함수를 가진 학습과 가중 중요도 샘플링을 사용한 오프-폴리시 평가에 대해 더 날카운 일반화 경계를 제공하는 것.
• 기존 잘라내기 방법 대신 Efron-Stein 분산을 통한 모멘트 기반 제어를 통해 오프-폴리시 평가에서 잘라내기 없는 경계를 확보하는 것.

제안 방법

• 좌표 기반 변화에 대한 민감도를 데이터 기반 측정값인 Efron-Stein 분산 추정량 $ V^\text{{es}} $를 사용한 반경험적 농도 부등식을 제안한다.
• Efron-Stein의 지수 부등식을 유도하여 $ \Delta = f(S) - \mathbb{E}[f(S)] $의 모멘트 생성 함수(MGF)를 $ V^\text{{es}} $의 MGF와 연결함으로써 모멘트 기반 尾부 경계를 가능하게 한다.
• 함수 선택을 매개변수 $ \theta $에 대한 랜덤 커널 $ \hat{p}_S $로 모델링하고 사전분포 $ p^0 $를 사용함으로써 이 부등식을 PAC-Bayesian 설정에 적용한다.
• 가우시안 적분과 코시-슈바르츠 부등식을 사용해 $ \mathbb{E}[\Delta_\theta \mid S] $의 MGF에 대한 경계를 유도하며, $ (\Delta_\theta, \sqrt{V_\theta}) $에 대한 표준 쌍 성질을 이끌어낸다.
• 핵심 부등식(식 13)을 확립하여 $ \mathbb{E}[\Delta_\theta \mid S] $의 MGF를 $ \mathrm{KL}(\hat{p}_S \| p^0) $와 $ \mathbb{E}[V_\theta \mid S] $로 경계한다.
• 서브-가우시안 꼬리에 대해 레마 3을 적용하여 두 번째 경계(식 14)를 도출하며, 모멘트 제어 하에 서브-가우시안 행동이 보장됨을 보여준다.

실험 결과

연구 질문

• RQ1 유계 차분이나 모멘트 조건 없이 비유계 함수에 대해 더 날카운 농도 경계를 도출할 수 있는가?
• RQ2 Efron-Stein 분산 추정량을 사용해 데이터 기반 반경험적 베르누이 스타일의 부등식을 구성할 수 있는가?
• RQ3 Efron-Stein 기반 부등식을 랜덤하고 데이터 기반 함수 선택을 포함한 PAC-Bayesian 프레임워크로 확장할 수 있는가?
• RQ4 이러한 부등식을 가중 중요도 샘플링을 사용한 오프-폴리시 평가에서 잘라내기 없는 경계를 도출하는 데 사용할 수 있는가?
• RQ5 유도된 경계는 비유계 손실 함수를 가진 학습의 일반화에 적용될 수 있는가?

주요 결과

• 논문은 Efron-Stein 분산 추정량의 일차 및 이차 모멘트를 사용해 $ \Delta $의 꼬리에 대한 제어를 가능하게 하는 반경험적 베르누이 스타일의 부등식을 확립한다. 이는 고차 모멘트에 대한 가정 없이 작동한다.
• 약한 자기유계 함수로서 $ V^\text{{es}} \leq a f(S) + b $ 를 만족하는 경우, 모든 $ x \geq 0 $ 에 대해 $ \mathbb{P}(\Delta \leq 2\sqrt{(a\mathbb{E}[f(S)] + b)x} + 2ax) \geq 1 - e^{-x} $ 라는 경계가 성립함을 증명한다.
• PAC-Bayesian Efron-Stein 부등식(식 13)은 $ \mathbb{E}[\Delta_\theta \mid S] $의 MGF를 사후분포와 사전분포 간의 KL 발산, 그리고 조건부 분산 추정량 $ \mathbb{E}[V_\theta \mid S] $로 경계한다.
• 레마 3을 사용해 두 번째 경계(식 14)를 도출하였으며, 이는 $ \mathbb{E}[\exp(U^2/4)] \leq 2 $ 를 만족함을 보여주며, 이로부터 $ \mathbb{E}[\exp(xU)] \leq 2e^{x^2} $ 라는 결과를 이끌어낸다.
• 이 프레임워크는 가중 중요도 샘플링을 사용한 오프-폴리시 평가에 대해 잘라내기 없는 일반화 경계를 도출하며, 기존의 잘라내기 방법 대신 모멘트 기반 제어를 적용한다.
• 결과는 도메인 어댑테이션에서 RLS, ERM, SGLD에 적용되어 비유계 손실에 대해 더 날카운 경계를 제공하고, 오프-폴리시 학습에서 일반화 성능을 향상시킨다.