[論文レビュー] PAC-Bayes Generalisation Bounds for Heavy-Tailed Losses through Supermartingales

Maxime Haddouche, Benjamin Guedj|arXiv (Cornell University)|Oct 3, 2022

Machine Learning and Algorithms被引用数 10

ひとこと要約

本論文は、分散が有界であるという唯一の仮定のもとで、重たい尾を持つ損失関数をもつ学習アルゴリズムのための新しいPAC-Bayesian一般化境界を確立する。マーティングレームのためのマーコフ不等式の拡張を活用することで、バッチ学習とオンライン学習を統合するフレームワークが構築され、有界でないマーティングレームや重たい尾の設定に対しても、タイトな境界が得られる。特に、サブガウス型やサブ指数型の尾の仮定を必要としない。

ABSTRACT

While PAC-Bayes is now an established learning framework for light-tailed losses (\emph{e.g.}, subgaussian or subexponential), its extension to the case of heavy-tailed losses remains largely uncharted and has attracted a growing interest in recent years. We contribute PAC-Bayes generalisation bounds for heavy-tailed losses under the sole assumption of bounded variance of the loss function. Under that assumption, we extend previous results from \citet{kuzborskij2019efron}. Our key technical contribution is exploiting an extention of Markov's inequality for supermartingales. Our proof technique unifies and extends different PAC-Bayesian frameworks by providing bounds for unbounded martingales as well as bounds for batch and online learning with heavy-tailed losses.

研究の動機と目的

• 軽い尾を持つ損失（例：サブガウス型）に限らないPAC-Bayesian一般化理論を、重たい尾を持つ損失関数へと拡張すること。
• 有界でない、重たい尾を持つ損失関数に対して、バッチ学習とオンライン学習の両方に適用可能な統一された理論的枠組みを構築すること。
• 具体的には、損失の2次のモーメントが有界であるという最小限の仮定のもとで、サブガウス型やサブ指数型の尾の条件を必要としない境界を確立すること。
• 有界でないマーティングレームに適用可能なスーパマルティングレームに基づく証明技法を導入することで、既存のPAC-Bayesian枠組みを統合すること。
• ニューラルネットワークなどの現代的な学習設定（例：有界でない回帰損失で訓練される）において、よりタイトで実用的な一般化境界の基礎を提供すること。

提案手法

• スーパマルティングレームに特化したマーコフ不等式の拡張を用いて、有界でない、重たい尾を持つ設定における尾確率を制御する。
• 変化測度不等式（Csiszár, 1975）を適用し、事後分布における期待損失を、事前分布からのKLダイバージェンスと損失のモーメント生成関数と関連付ける。
• 有界でないマーティングレームを扱うための新規証明技法を導入し、スーパマルティングレームの集中性を用いて、経験的分散を高確率で制御する。
• バッチ学習とオンラインバンディット設定の両方の一般化境界を導出する。その際、レグレットを2次のモーメントが有界なマルティングレーム差分列としてモデル化する。
• マルチアームバンディットにおいて、期待報酬の不偏推定器を構築するために重要度重み付き報酬を用いる。これにより、スーパマルティングレームのツールが利用可能になる。
• 任意の事後分布に対して、経験的レグレットと真のレグレットの乖離に関する高確率境界を導出し、最小方策確率と信頼水準に明示的な依存関係を示す。

実験結果

リサーチクエスチョン

• RQ1 サブガウス型やサブ指数型の尾の仮定をせず、重たい尾を持つ損失関数に対してPAC-Bayesian一般化境界を拡張することは可能か？
• RQ2 スーパマルティングレームの集中不等式をどのように用いることで、オンライン学習における有界でないマーティングレームに対してタイトな境界を導出できるか？
• RQ3 有界でない、重たい尾を持つ損失関数に対して、バッチ学習とオンライン学習のPAC-Bayesian枠組みを、一つの理論的基盤で統一することは可能か？
• RQ4 分散が有界であるという条件が、実用的な学習状況におけるPAC-Bayesian境界のタイトさと適用可能性に与える影響は何か？
• RQ5 提案された枠組みは、有界でない報酬を持つマルチアームバンディットにおいて、既存の境界を回復または改善できるか？

主な発見

• 本論文は、KuzborskijとSzepesvári（2019）の先行研究を拡張し、分散が有界であるという唯一の仮定のもとで、重たい尾を持つ損失関数のための新しいPAC-Bayesian一般化境界を確立した。
• 有界でない報酬をもつオンラインマルチアームバンディットに対して、確率 $1 - \nu$ で成り立つ境界が提案され、その形は $ \big| \triangle(Q) - \tilde{\triangle}_m(Q) \big| \triangleq 2\frac{1}{\nu} \frac{1}{m} \big( \text{log}(K) + \text{log}(4/\nu) \big) $ である。この境界は平方根内に $1/\nu$ の依存性を有する。
• この境界は、Seldinら（2012a）のものと、$ \big(1 + \frac{2K}{\nu}\big) $ の要因を除き同等のタイトさである。これは $K$ に著しい依存性を有するが、依然として平方根内に収束している。
• このフレームワークは、多様な既存のPAC-Bayesian境界を回復・統合できるほど一般性が高く、スーパマルティングレームが強力で統一的な理論的ツールであることを示唆している。
• この手法により、従来の有界損失の仮定が成り立たないニューラルネットワークやその他の複雑なモデルが、有界でない回帰損失で訓練される状況においても一般化保証を得られるようになった。
• 本手法は、経験的分散の粗いバインドを用いるため、単一時刻の境界に限定されており、すべての時刻ステップにわたる一様境界への拡張は、未解決の課題のまま残っている。