[論文レビュー] PAC-Bayes Mini-tutorial: A Continuous Union Bound

Tim van Erven|arXiv (Cornell University)|May 7, 2014

Advanced Bandit Algorithms Research参考文献 7被引用数 14

ひとこと要約

この論文は、Cramér-Chernoff法を用いて、Hoeffdingの不等式やBernsteinの不等式のような古典的集中不等式を拡張することで、PAC-Bayesian一般化境界の連続的ユニオンバウンドフレームワークを提示する。離散的仮説空間と連続的仮説空間を統合する境界を導出し、離散的ユニオンバウンドの代わりに事前分布と事後分布のペアに対するベイズ的マージナライゼーションを用いることで、機械学習の文脈においてよりタイトで柔軟な一般化保証を達成する。

ABSTRACT

When I first encountered PAC-Bayesian concentration inequalities they seemed to me to be rather disconnected from good old-fashioned results like Hoeffding's and Bernstein's inequalities. But, at least for one flavour of the PAC-Bayesian bounds, there is actually a very close relation, and the main innovation is a continuous version of the union bound, along with some ingenious applications. Here's the gist of what's going on, presented from a machine learning perspective.

研究の動機と目的

• 古典的集中不等式（例：Hoeffding、Bernstein）とPAC-Bayesian一般化境界との間の概念的・技術的ブリッジを確立すること。
• PAC-Bayesian境界が、離散的仮説選択の代わりにベイズ的マージナライゼーションを用いたユニオンバウンドの連続的バージョンとして自然に生じることを示すこと。
• Cramér-Chernoff法を用いた系統的導出を通し、経験的リスクと事前分布と事後分布の間の発散の両方を用いて一般化誤差の明示的境界を提供すること。
• 境界を最適化するための2つの主要な設計戦略を検討すること：固定された事前分布に対する最適な事後分布の選択、および固定された事後分布に対する局所化された事前分布の選択。

提案手法

• 真のリスク $ R(h) $ と経験的リスク $ R_n(D,h) $ を結ぶために、$ M_{\nu}(h) = -\frac{1}{\eta}\ln \mathbb{E}[e^{-\eta \ell(X,Y,h)}] $ という補助関数をCramér-Chernoff法で定義する。
• Markovの不等式とi.i.d.サンプリングを用い、確率 $ 1 - \delta $ 以上で有効な高確率境界 $ M_{\eta}(h) \leq R_n(D,h) + \frac{1}{\eta n}\ln\frac{1}{\delta} $ を導出する。
• 事前分布 $ \pi $ を用いて仮説のユニオンに拡張し、離散的和を積分に置き換えることで、可算な $ \mathcal{H} $ に対して $ M_{\eta}(\hat{h}) \leq R_n(D,\hat{h}) + \frac{1}{\eta n}\ln\frac{1}{\pi(\hat{h})\delta} $ を得る。
• 事後分布 $ \hat{\pi} $ を導入することで連続的仮説空間に一般化し、Kullback-Leibler発散 $ D(\hat{\pi} \| \pi) $ を含む境界を導出する。
• 2つの主要な境界を導出する：$ \phi(x) $ を用いた分散型境界と、$ \alpha > 1 $ を用いた損失有界型アプローチで、両者とも $ \alpha $-発散項を含む。
• 2つの最適化戦略を提案する：(1) ギブス事後分布 $ \hat{\pi}(h) \propto \pi(h) e^{-\eta n R_n(D,h)/\alpha} $、(2) 局所化された事前分布 $ \pi(h) = \mathbb{E}_D[\hat{\pi}(h)] $、両者とも境界式を最小化する。

実験結果

リサーチクエスチョン

• RQ1 古典的ユニオンバウンドは、どのように連続的仮説空間に一般化できるか？
• RQ2 PAC-Bayesian境界とHoeffdingの不等式やBernsteinの不等式といった標準的不等式との関係は何か？
• RQ3 Cramér-Chernoff法は、PAC-Bayesianフレームワークにおいて、タイトな一般化境界を導出するためにどのように適合できるか？
• RQ4 一般化境界を最小化するための最適な事前分布と事後分布の選択は何か？
• RQ5 事後分布と事前分布の更新を交互に繰り返すことで、境界を反復的に最適化できるか？

主な発見

• PAC-Bayesianフレームワークは、離散的仮説の和を事後分布に関する期待値に置き換えることで、ユニオンバウンドの連続的バージョンとして解釈できる。
• 最適化された $ \eta $ を用いることで、境界 $ R(h) \leq R_n(D,h) + \eta \frac{(b-a)^2}{8} + \frac{1}{\eta n}\ln\frac{1}{\delta} $ はHoeffdingの不等式を回復し、両者との直接的な関連を示す。
• 損失が有界である $ \ell(X,Y,h) \in [0,b] $ 場合、確率 $ 1 - \delta $ 以上で、$ \eta \in (0,v] $ に対して、$ \mathbb{E}_{h \sim \hat{\pi}}[R(h)] - R(h^*) \leq \mathbb{E}_{h \sim \hat{\pi}}[R_n(D,h)] - R_n(D,h^*) + \eta \phi(bv)\mathbb{E}[\ell'(X,Y,h)^2] + \frac{\alpha}{\eta n}\left(D(\hat{\pi} \| \pi) + \ln\frac{1}{\delta} + \ln(\frac{1}{2}\log_\alpha n + C)\right) $ が成り立つ。
• 固定された事前分布 $ \pi $ に対して、最適な事後分布 $ \hat{\pi}(h) \propto \pi(h) e^{-\eta n R_n(D,h)/\alpha} $ が境界式を最小化する。
• 固定された事後分布 $ \hat{\pi} $ に対して、境界を最小化する局所化された事前分布 $ \pi(h) = \mathbb{E}_D[\hat{\pi}(h)] $ が得られ、さらに $ \pi'(h) \propto \pi(h) e^{-\eta n R(h)/\alpha} $ を用いて精緻化できる。
• 事前分布と事後分布の反復的最適化は、$ \pi(h) = \mathbb{E}_D[\hat{\pi}(h)] $ を満たす固定点に収束する可能性があるが、その存在性と一意性は未解決の問題のまま残されている。