[論文レビュー] Efron-Stein PAC-Bayesian Inequalities

Ilja Kuzborskij, Csaba Szepesvári|arXiv (Cornell University)|Sep 4, 2019

Machine Learning and Algorithms参考文献 43被引用数 4

ひとこと要約

本稿は、モーメント仮定を必要とせず、独立な確率変数の関数に対してデータに依存する集中不等式を提供する半経験的Efron-Stein PAC-Bayesian不等式を導入する。Efron-Stein分散プロキシとモーメント生成関数を活用し、新たなベルヌーイ型不等式を導出し、有界でない損失関数、重み付き重要度サンプリングを用いたオフポリシー評価、PAC-Bayesian学習に応用することで、切断なしのより緊密な一般化境界を達成する。

ABSTRACT

We prove semi-empirical concentration inequalities for random variables which are given as possibly nonlinear functions of independent random variables. These inequalities describe concentration of random variable in terms of the data/distribution-dependent Efron-Stein (ES) estimate of its variance and they do not require any additional assumptions on the moments. In particular, this allows us to state semi-empirical Bernstein type inequalities for general functions of unbounded random variables, which gives user-friendly concentration bounds for cases where related methods (e.g. bounded differences) might be more challenging to apply. We extend these results to Efron-Stein PAC-Bayesian inequalities which hold for arbitrary probability kernels that define a random, data-dependent choice of the function of interest. Finally, we demonstrate a number of applications, including PAC-Bayesian generalization bounds for unbounded loss functions, empirical Bernstein type generalization bounds, new truncation-free bounds for off-policy evaluation with Weighted Importance Sampling (WIS), and off-policy PAC-Bayesian learning with WIS.

研究の動機と目的

• 独立な確率変数の一般関数に対する集中不等式を、モーメント仮定や有界差分の仮定に依存せずに開発すること。
• データに依存する関数選択を伴うPAC-Bayesian設定に、Efron-Stein分散プロキシを拡張すること。
• Efron-Steinによる分散推定を用いて、有界でない確率変数のための半経験的ベルヌーイ型不等式を導出すること。
• 有界でない損失関数を伴う学習および重み付き重要度サンプリングを用いたオフポリシー評価における、より緊密な一般化境界を可能にすること。
• Efron-Stein分散を用いたモーメント制御によって従来の切断を置き換えることで、オフポリシー評価における切断なしの境界を実現すること。

提案手法

• Efron-Stein分散プロキシ $ V^\text{{es}} $ をデータに依存する座標ごとの摂動に対する感受性の尺度として用い、半経験的集中不等式を提案する。
• 確率変数 $ \Delta = f(S) - \mathbb{E}[f(S)] $ のMGFと $ V^\text{{es}} $ のMGFを関連付ける指数型Efron-Stein不等式を導出し、モーメントに基づく尾部境界を可能にする。
• 関数選択をパrameter $ \theta $ における確率的カーネル $ \hat{p}_S $ としてモデル化し、事前分布 $ p^0 $ を用いることで、PAC-Bayesian設定に不等式を適用する。
• ガウス積分とシュワルツの不等式を用いて、$ \mathbb{E}[\Delta_\theta \mid S] $ のMGFに対する境界を導出し、$ (\Delta_\theta, \sqrt{V_\theta}) $ の正規化ペアの性質を導く。
• 式 (13) に示される重要な不等式を確立し、$ \mathbb{E}[\Delta_\theta \mid S] $ のMGFを、$ \mathrm{KL}(\hat{p}_S \| p^0) $ と $ \mathbb{E}[V_\theta \mid S] $ の関数として境界づける。
• 補題 3 を用いてサブガウス尾部に適応する第二の境界（式 (14)）を導出し、モーメント制御下でのサブガウス的挙動を保証する。

実験結果

リサーチクエスチョン

• RQ1 有界差分やモーメント条件を仮定せずに、有界でない関数のためのより緊密な集中境界を導出可能か？
• RQ2 Efron-Stein分散プロキシは、データに依存する半経験的ベルヌーイ型不等式を構築するためにどのように利用可能か？
• RQ3 Efron-Steinに基づく不等式は、データに依存する確率的関数選択を伴うPAC-Bayesianフレームワークに拡張可能か？
• RQ4 これらの不等式は、重み付き重要度サンプリングを用いたオフポリシー評価において、切断なしの境界を提供可能か？
• RQ5 得られた境界は、有界でない損失関数を伴う学習における一般化に応用可能か？

主な発見

• 本稿は、高次モーメントの仮定を避け、Efron-Stein分散プロキシの第一および第二モーメントを用いて $ \Delta $ の尾部を制御する半経験的ベルヌーイ型不等式を確立した。
• 弱く自己有界な関数で $ V^\text{{es}} \leq a f(S) + b $ を満たす場合、すべての $ x \geq 0 $ に対して $ \mathbb{P}(\Delta \leq 2\sqrt{(a\mathbb{E}[f(S)] + b)x} + 2ax) \geq 1 - e^{-x} $ が成り立つことを証明した。
• PAC-Bayesian Efron-Stein不等式（式 (13)）は、事後分布と事前分布のKLダイバージェンスおよび条件付き分散プロキシ $ \mathbb{E}[V_\theta \mid S] $ を用いて、$ \mathbb{E}[\Delta_\theta \mid S] $ のMGFに対する境界を与える。
• 補題 3 を用いて第二の境界（式 (14)）を導出し、$ \mathbb{E}[\exp(U^2/4)] \leq 2 $ が成り立ち、$ \mathbb{E}[\exp(xU)] \leq 2e^{x^2} $ を得た。
• このフレームワークにより、重み付き重要度サンプリングを用いたオフポリシー評価における切断なしの一般化境界が得られ、従来の切断をモーメントに基づく制御に置き換えた。
• 結果はドメイン適応におけるRLS、ERM、SGLDに応用され、有界でない損失関数に対してより緊密な境界を達成し、オフポリシー学習における一般化性能の向上を示した。