[論文レビュー] PAC-Bayesian Analysis of Martingales and Multiarmed Bandits

Yevgeny Seldin, François Laviolette+3 more|arXiv (Cornell University)|May 12, 2011

Advanced Bandit Algorithms Research参考文献 17被引用数 5

ひとこと要約

本稿では、マルتينゲールおよびマルチアームバンディットにおける従属確率変数を分析する2つの新しいPACベイジアンアプローチを導入し、先行研究の限界を克服する。限られたフィードバック下での一般化誤差およびレグレットバウンドを導出することで、PACベイジアン解析を強化学習および逐次的意思決定に拡張し、理論的根拠に基づく収束保証を提供する。

ABSTRACT

We present two alternative ways to apply PAC-Bayesian analysis to sequences of dependent random variables. The first is based on a new lemma that enables to bound expectations of convex functions of certain dependent random variables by expectations of the same functions of independent Bernoulli random variables. This lemma provides an alternative tool to Hoeffding-Azuma inequality to bound concentration of martingale values. Our second approach is based on integration of Hoeffding-Azuma inequality with PAC-Bayesian analysis. We also introduce a way to apply PAC-Bayesian analysis in situation of limited feedback. We combine the new tools to derive PAC-Bayesian generalization and regret bounds for the multiarmed bandit problem. Although our regret bound is not yet as tight as state-of-the-art regret bounds based on other well-established techniques, our results significantly expand the range of potential applications of PAC-Bayesian analysis and introduce a new analysis tool to reinforcement learning and many other fields, where martingales and limited feedback are encountered.

研究の動機と目的

• 独立同一分布(i.i.d.)の仮定が成り立たない、特にマルチンゲールとしての従属確率変数の系列へのPACベイジアン解析の適用という課題に対処する。
• オンライン学習設定における従属データおよび限られたフィードバックを扱う既存手法の限界を克服する。
• 部分的フィードバック下での探索と活用のトレードオフの分析を可能にするよう、PACベイジアン理論を強化学習に拡張する。
• 先行研究が示唆するように、オンライン意思決定におけるベイジアン正則化および事前分布の組み込みに理論的根拠を与える。
• 標本の依存性と疎なフィードバックが本質的である分野にPACベイジアンバウンドを適用可能なツールを開発する。

提案手法

• 従属確率変数の凸関数の期待値を、独立したベルヌーイ変数の期待値を用いてバウンドする新しい補題を導入する。
• この補題を用いて、マルチンゲール集中のためのホーフィング＝アズマ不等式の代替を導出し、従属和に対するより鋭い制御を可能にする。
• PACベイジアン解析とホーフィング＝アズマ不等式を組み合わせ、特にマルチアームバンディット問題における従属系列の解析を行う。
• オンライン学習における限られたフィードバックに対処するため、重み付きサンプリング戦略を適用し、一部の行動がめったに選ばれない場合でも、レグレットバウンドが意味を持つように保証する。
• 指数型分布族の事前分布および事後分布を用いて、マルチアームバンディット問題におけるPACベイジアン一般化誤差およびレグレットバウンドを導出する。
• 対数関数およびKLダイバージェンスの凹性を活用し、バンディット設定における事後分布と事前分布のダイバージェンスに対するタイトなバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 PACベイジアン解析は、i.i.d.仮定が成り立たない従属確率変数の系列、特にマルチンゲールに対して拡張可能か？
• RQ2 限られたフィードバック（選択された行動の報酬のみ観測可能）下で、マルチアームバンディット問題にPACベイジアンツールを適応可能か？
• RQ3 一部の行動がめったに選ばれない場合でも、時間とともに改善する部分的フィードバック下でのレグレットバウンドを導出可能か？
• RQ4 強化学習における探索と活用のトレードオフは、PACベイジアンフレームワークを用いて厳密に分析可能か？
• RQ5 強化学習で提案された相互情報量正則化は、PACベイジアン一般化バウンドを通じて正当化可能か？

主な発見

• 提案された補題により、従属変数の凸関数の期待値を独立したベルヌーイ変数の期待値でバウンド可能となり、ホーフィング＝アズマ不等式の新たな代替が得られる。
• 本稿では、行動の最小サンプリング頻度の逆数に比例するが、重み付きサンプリング戦略により改善するPACベイジアンレグレットバウンドを導出する。
• 限られたフィードバック下でのレグレットバウンドが導出され、PACベイジアン解析を疎な報酬を持つオンライン学習に適用する際の主要な課題が解決された。
• PACベイジアン理論とマルチンゲール集中の分析が効果的に統合され、ユニオンバウンドが失敗する非可算な並列マルチンゲール系列族に対してもバウンドが得られた。
• ホーフィング＝アズマとPACベイジアン手法の組み合わせにより、事後分布と事前分布のKLダイバージェンスがバウンドされ、収束を保証する自己整合的不等式が得られた。
• レグレットバウンドは、他の手法による最新のバウンドほどはタイトではないが、PACベイジアン解析の適用範囲を強化学習および従属データ設定に著しく広げた。