[論文レビュー] PAC-Bayes-Bernstein Inequality for Martingales and its Application to Multiarmed Bandits

Yevgeny Seldin, Nicolò Cesa‐Bianchi+3 more|arXiv (Cornell University)|Oct 31, 2011

Advanced Bandit Algorithms Research参考文献 35被引用数 15

ひとこと要約

本稿では、強化学習における探索と活用のトレードオフのデータ依存的分析を可能にする、マーティングルに特化した新規PAC-Bayesianベルヌーイ不等式を導入する。この不等式を重要度重み付きサンプリングと組み合わせることで、確率的マルチアームバンディットにおけるより緊密なレグレットバウンドが得られ、標準的なバンディット問題を超えた構造的により豊かな問題への応用の可能性が示された。

ABSTRACT

We develop a new tool for data-dependent analysis of the exploration-exploitation trade-off in learning under limited feedback. Our tool is based on two main ingredients. The first ingredient is a new concentration inequality that makes it possible to control the concentration of weighted averages of multiple (possibly uncountably many) simultaneously evolving and interdependent martingales. The second ingredient is an application of this inequality to the exploration-exploitation trade-off via importance weighted sampling. We apply the new tool to the stochastic multiarmed bandit problem, however, the main importance of this paper is the development and understanding of the new tool rather than improvement of existing algorithms for stochastic multiarmed bandits. In the follow-up work we demonstrate that the new tool can improve over state-of-the-art in structurally richer problems, such as stochastic multiarmed bandits with side information (Seldin et al., 2011a).

研究の動機と目的

• 限られたフィードバック下での学習における探索と活用のトレードオフを分析するための新しい理論的枠組みの構築を目的とする。
• 最悪ケース解析の限界を克服し、非i.i.d.および従属的な設定においてもデータ依存的でPAC-Bayesian的な解析を可能にする。
• PAC-Bayesian解析を教師あり学習にとどめず、マーティングルを含む順序付き意思決定問題へと拡張する。
• 重要度重み付きサンプリングを用いて、選択された行動の報酬しか観測されない限られたフィードバック環境下でも、方策の経験的評価を可能にする。
• 複雑な学習環境におけるモデル順序選択と探索と活用の同時分析の基盤を築く。

提案手法

• 複数の相互に依存するマーティングルの重み付き平均のための新しい集中不等式を導出し、ベルヌーイ不等式をPAC-Bayesian設定へ一般化する。
• 限られたフィードバック下で選択された行動の報酬しか観測されない状況でも、方策の評価を可能にするために重要度重み付きサンプリングを適用する。
• 期待報酬と滑らかにした方策の報酬との差を制御するため、ε-スムージングを用いて、レグレット解析を容易にする。
• 逆温度γtを持つギブス（指数型）方策を用い、探索と活用のバランスを取る。レグレットは対数項によってバウンドされる。
• 推定誤差、経験的レグレット、方策スムージング効果を分離する新しいレグレット分解を導入し、より緊密な解析を実現する。
• PAC-Bayesian枠組みを活用して、モデルの複雑さと経験的適合度を同時に制御し、より緊密な一般化バウンドを可能にする。

実験結果

リサーチクエスチョン

• RQ1 マーティングルに特化したPAC-Bayesianベルヌーイ不等式を導出することで、限られたフィードバック下での順序付き学習におけるより緊密なデータ依存的解析が可能になるか？
• RQ2 重要度重み付きサンプリングをPAC-Bayesian解析に統合することで、確率的バンディットにおける探索と活用のトレードオフをどのように扱えるか？
• RQ3 提案された枠組みは、構造的学習問題における有益なデータ条件を活用することで、最悪ケースのレグレットバウンドを改善できるか？
• RQ4 PAC-Bayesian制約下で、方策スムージングと指数型重み付けの探索と活用のバランスへの役割は何か？
• RQ5 新しい不等式は、強化学習におけるモデル順序選択と探索と活用の最適化を同時に可能にするか？

主な発見

• 本稿では、相互に依存し、時間的に変化するマーティングルの重み付き平均の集中を制御する、マーティングルに特化した新規PAC-Bayesianベルヌーイ不等式を確立した。
• 確率的マルチアームバンディット問題に対する導出されたレグレットバウンドは、O(ln K / γt)のオーダーであり、Kがアーム数を表す。アーム数にたいして対数的依存性を示す。
• 方策の期待報酬とそのε-スムージング版との差はKεで抑えられ、スムージングに起因するレグレットを制御する。
• 指数型方策の経験的レグレットは(ln K)/γtで抑えられ、これはタイトであり、効率的な探索と活用のトレードオフを可能にする。
• この枠組みにより、最悪ケースバウンドよりも著しくタイトなデータ依存的解析が可能となり、側面情報付きバンディットなどのより豊かな問題へも適用可能である。
• 本稿で構築された理論的基盤は、特に相互情報量正則化やモデル選択を含む強化学習の分野における将来的な改善を支援する。