[論文レビュー] Strategy-Driven Limit Theorems Associated Bandit Problems

Zengjing Chen, Shui Feng+1 more|arXiv (Cornell University)|Apr 9, 2022

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿は、2腕バンディット問題における戦略駆動型極限定理を導入し、サンプリング戦略に明示的に依存する大数の法則、大偏差原理、中心極限定理を確立する。主な貢献は、戦略に依存する極限分布（非正規かつ集合に依存する）を同定し、学習構造を明らかにし、最大・最小報酬の推定やパラドックスの回避を可能にする点にあり、パラドックスの回避に寄与する。

ABSTRACT

Motivated by the study of asymptotic behaviour of the bandit problems, we obtain several strategy-driven limit theorems including the law of large numbers, the large deviation principle, and the central limit theorem. Different from the classical limit theorems, we develop sampling strategy-driven limit theorems that generate the maximum or minimum average reward. The law of large numbers identifies all possible limits that are achievable under various strategies. The large deviation principle provides the maximum decay probabilities for deviations from the limiting domain. To describe the fluctuations around averages, we obtain strategy-driven central limit theorems under optimal strategies. The limits in these theorem are identified explicitly, and depend heavily on the structure of the events or the integrating functions and strategies. This demonstrates the key signature of the learning structure. Our results can be used to estimate the maximal (minimal) rewards, and to identify the conditions of avoiding the Parrondo's paradox in the two-armed bandit problem. It also lays the theoretical foundation for statistical inference in determining the arm that offers the higher mean reward.

研究の動機と目的

• 2腕バンディット問題におけるサンプリング戦略の漸近的挙動を特徴付ける戦略駆動型極限定理の枠組みを構築すること。
• さまざまなサンプリング戦略下での平均報酬の到達可能なすべての極限を同定し、古典的大数の法則を拡張すること。
• 最適報酬極限からの逸脱確率の最大崩壊レートを定量化する大偏差原理を提供すること。
• 戦略と統合関数に依存する非正規極限分布を有する戦略的中心極限定理を導出すること。
• このフレームワークを用いて、未知の腕の平均を持つ逐次サンプリングにおける最大・最小期待報酬を推定し、バンディット設定におけるパラドックスの回避条件を特定すること。

提案手法

• サンプリング戦略の依存性を組み込んだ、弱法則および強法則の大数の法則を提案し、ロビンズの結果を一般化する。
• レート関数 $ I(x) = \inf_{\alpha \in [0,1]} I_\alpha(x) $ を有する大偏差原理（LDP）を確立し、ここで $ I_\alpha(x) $ は戦略 $ \theta^\alpha $ のもとでのモーメント生成関数の混合から導出される。
• 極限分布が明示的に非正規かつ集合に依存する戦略的中心極限定理を導入し、戦略と報酬構造に依存する。
• クリーマーの定理と縮約原理を用いて、戦略の系列 $ \theta^\alpha $ のもとでの報酬の経験測度からLDPのレート関数を導出する。
• 各腕へのプルの長期的割合を制御する戦略族 $ \theta^\alpha $ を構築し、戦略に依存する極限の導出を可能にする。
• 非線形確率とレジェンドル＝フェンヒェル変換を用いて、レート関数 $ \Lambda^* $ を特徴付け、モーメント生成関数と大偏差レートを結びつける。

実験結果

リサーチクエスチョン

• RQ1 2腕バンディット問題において、異なるサンプリング戦略のもとで到達可能な平均報酬のすべての極限の集合は何か？
• RQ2 いかなる戦略に対しても、最適報酬極限からの逸脱確率の最大崩壊レートは何か？
• RQ3 最適サンプリング戦略下での平均報酬まわりのフラクチュエーションはどのように振る舞い、その極限分布の形は何か？
• RQ4 このフレームワークを用いて、腕の平均が未知の逐次サンプリングにおいて最大または最小期待報酬を推定できるか？
• RQ5 この戦略駆動型アプローチを用いて、2腕バンディット設定でパラドックスを回避する条件は何か？

主な発見

• 戦略駆動型大数の法則により、平均報酬のすべての可能な極限が、経験平均の極限として明示的に特定され、戦略と元の報酬分布に依存する。
• 大偏差原理により、レート関数 $ I(x) = \inf_{\alpha \in [0,1]} I_\alpha(x) $ が提供され、ここで $ I_\alpha(x) $ は戦略 $ \theta^\alpha $ のもとでのモーメント生成関数の混合から導出される。最適平均で崩壊レートが最小化されることが示される。
• 戦略的中心極限定理により、一般に非正規かつ戦略と統合関数の構造に依存する極限分布が得られ、明示的な形として $ I_\alpha(x) = \inf\{ \alpha \Lambda^*_{\mu_L}(y) + (1-\alpha) \Lambda^*_{\mu_R}(z) : \alpha y + (1-\alpha) z = x \} $ が得られる。
• このフレームワークにより、極限を達成する最適戦略を同定することで、最大および最小期待報酬の推定が可能になる。
• 結果は、最適サンプリング戦略下で、仮説検定における統計的推論の理論的基盤を提供する。
• 分析により、戦略に依存する極限とレート関数を注意深く分析することで、2つの負け戦略から成るパラドックス的勝利を回避できることを示している。