[论文解读] Efron-Stein PAC-Bayesian Inequalities

Ilja Kuzborskij, Csaba Szepesvári|arXiv (Cornell University)|Sep 4, 2019

Machine Learning and Algorithms参考文献 43被引用 4

一句话总结

本文提出了半经验的 Efron-Stein PAC-Bayesian 不等式，为独立随机变量的函数提供了无需依赖矩假设的数据依赖集中界。通过利用 Efron-Stein 方差代理和矩生成函数，推导出新型的 Bernstein 型不等式，并将其应用于无界损失函数、加权重要性采样（Weighted Importance Sampling）的离策略评估以及 PAC-Bayesian 学习，从而获得更紧致、无需截断的泛化界。

ABSTRACT

We prove semi-empirical concentration inequalities for random variables which are given as possibly nonlinear functions of independent random variables. These inequalities describe concentration of random variable in terms of the data/distribution-dependent Efron-Stein (ES) estimate of its variance and they do not require any additional assumptions on the moments. In particular, this allows us to state semi-empirical Bernstein type inequalities for general functions of unbounded random variables, which gives user-friendly concentration bounds for cases where related methods (e.g. bounded differences) might be more challenging to apply. We extend these results to Efron-Stein PAC-Bayesian inequalities which hold for arbitrary probability kernels that define a random, data-dependent choice of the function of interest. Finally, we demonstrate a number of applications, including PAC-Bayesian generalization bounds for unbounded loss functions, empirical Bernstein type generalization bounds, new truncation-free bounds for off-policy evaluation with Weighted Importance Sampling (WIS), and off-policy PAC-Bayesian learning with WIS.

研究动机与目标

• 开发适用于一般独立随机变量函数的集中不等式，且不依赖于矩假设或有界差值条件。
• 将 Efron-Stein 方差代理扩展至使用数据依赖函数选择的 PAC-Bayesian 设置中。
• 利用 Efron-Stein 方差估计推导无界随机变量的半经验 Bernstein 型不等式。
• 在无界损失函数学习和使用加权重要性采样（Weighted Importance Sampling）的离策略评估中，实现更紧致的泛化界。
• 通过用基于矩的控制替代传统截断，实现离策略评估中的无截断边界。

提出的方法

• 提出一种半经验集中不等式，使用 Efron-Stein 方差代理 $ V^\text{{es}} $ 作为对坐标扰动敏感度的数据依赖度量。
• 推导出一个指数型 Efron-Stein 不等式，将 $ \Delta = f(S) - \mathbb{E}[f(S)] $ 的矩生成函数（MGF）与 $ V^\text{{es}} $ 的 MGF 关联，从而实现基于矩的尾部界。
• 通过将函数选择建模为参数 $ \theta $ 上的随机核 $ \hat{p}_S $ 及先验 $ p^0 $，将不等式应用于 PAC-Bayesian 设置。
• 利用高斯积分与柯西-施瓦茨不等式，推导 $ \mathbb{E}[\Delta_\theta \mid S] $ 的 MGF 上界，从而导出 $ (\Delta_\theta, \sqrt{V_\theta}) $ 的标准对性质。
• 建立一个关键不等式（公式 13），以 $ \mathrm{KL}(\hat{p}_S \| p^0) $ 和 $ \mathbb{E}[V_\theta \mid S] $ 为条件，界定了 $ \mathbb{E}[\Delta_\theta \mid S] $ 的 MGF。
• 利用引理 3 推导第二个界（公式 14），在矩控制下确保亚高斯行为，其中 $ \mathbb{E}[\exp(U^2/4)] \leq 2 $，从而推出 $ \mathbb{E}[\exp(xU)] \leq 2e^{x^2} $。

实验结果

研究问题

• RQ1 我们能否在不假设有界差值或矩条件的前提下，为无界函数推导出更紧致的集中界？
• RQ2 Efron-Stein 方差代理如何用于构建数据依赖的半经验 Bernstein 型不等式？
• RQ3 基于 Efron-Stein 的不等式能否扩展至具有随机、数据依赖函数选择的 PAC-Bayesian 框架？
• RQ4 这些不等式能否在使用加权重要性采样（Weighted Importance Sampling）的离策略评估中产生无截断边界？
• RQ5 所得到的边界能否应用于无界损失函数学习中的泛化问题？

主要发现

• 本文建立了一个半经验 Bernstein 型不等式，通过使用 Efron-Stein 方差代理的一阶与二阶矩来控制 $ \Delta $ 的尾部，且无需对高阶矩做假设。
• 证明了对于满足 $ V^\text{{es}} \leq a f(S) + b $ 的弱自有界函数，对所有 $ x \geq 0 $，有 $ \mathbb{P}(\Delta \leq 2\sqrt{(a\mathbb{E}[f(S)] + b)x} + 2ax) \geq 1 - e^{-x} $。
• PAC-Bayesian Efron-Stein 不等式（公式 13）提供了 $ \mathbb{E}[\Delta_\theta \mid S] $ 的 MGF 上界，其以后验与先验之间的 KL 散度和条件方差代理 $ \mathbb{E}[V_\theta \mid S] $ 表示。
• 利用引理 3 推导出第二个边界（公式 14），表明在矩控制下具有亚高斯行为，其中 $ \mathbb{E}[\exp(U^2/4)] \leq 2 $，从而推出 $ \mathbb{E}[\exp(xU)] \leq 2e^{x^2} $。
• 该框架为使用加权重要性采样（Weighted Importance Sampling）的离策略评估提供了无截断泛化边界，通过基于矩的控制替代传统截断。
• 该结果被应用于领域自适应中的 RLS、ERM 和 SGLD，展示了对无界损失的更紧致边界，以及在离策略学习中更优的泛化性能。