[論文レビュー] Optimal Best Markovian Arm Identification with Fixed Confidence

Vrettos Moulos|arXiv (Cornell University)|Dec 2, 2019

Advanced Bandit Algorithms Research被引用数 12

ひとこと要約

本稿は、固定信頼度における1パラメータのマーキov連続確率的バンディットモデルにおける最良腕同定のための、初めてのインスタンス固有で非漸近的な下界を確立する。本稿は、マーキォフ依存性下でのトラック・アンド・ストップ戦略を分析し、漸近的にそのサンプル複雑度が導出された下界の4倍以内であることを証明する。さらに、定数係数を伴う最適な指数的減衰を達成する、マーキォフ連鎖に対する新しい集中不等式を導入する。

ABSTRACT

We give a complete characterization of the sampling complexity of best Markovian arm identification in one-parameter Markovian bandit models. We derive instance specific nonasymptotic and asymptotic lower bounds which generalize those of the IID setting. We analyze the Track-and-Stop strategy, initially proposed for the IID setting, and we prove that asymptotically it is at most a factor of four apart from the lower bound. Our one-parameter Markovian bandit model is based on the notion of an exponential family of stochastic matrices for which we establish many useful properties. For the analysis of the Track-and-Stop strategy we derive a novel concentration inequality for Markov chains that may be of interest in its own right.

研究の動機と目的

• 1パラメータのマーキォフ連続確率的バンディットモデルにおける最良腕同定のサンプリング複雑度を同定すること。
• IID設定におけるインスタンス固有の下界を、より複雑なマーキォフ依存性設定に一般化すること。
• マーキォフ過程下でのトラック・アンド・ストップ戦略の漸近的性能を分析すること。
• マーキォフ連鎖の経験的平均値に対する、最適な指数的減衰と定数係数を伴う新しい集中不等式を確立すること。
• 確率的マルチアームバンディットの理論的基盤を、より豊かなモデリングを可能にするために、マーキォフ依存腕を含めるように拡張すること。

提案手法

• 指数的族に属する確率的行列に基づく1パラメータのマーキォフ連続確率的バンディットモデルを提案し、腕の報酬におけるマーキォフ依存性を捉える。
• マーキォフ連鎖の大偏差理論を用いて、期待サンプル複雑度のインスタンス固有で非漸近的および漸近的な下界を導出する。
• 元来IID設定に設計されたトラック・アンド・ストップ戦略をマーキォフ設定に適応し、その漸近的最適性が導出された下界の4倍以内であることを証明する。
• 既存の研究で見られる多項式係数を避ける、最適な指数的減衰と定数係数を伴う、マーキォフ連鎖の経験的平均値に対する新しい集中不等式を導入する。
• 一般化されたジェンセン＝シャノン発散の変分的特徴付けを用いて、チェルノフ停止ルールとサンプリング戦略、誤差確率を関連付ける。
• マーキォフ連鎖の弱大数法則と新規の集中不等式を用いて、トラック・アンド・ストップ戦略の漸近的挙動を分析する。

実験結果

リサーチクエスチョン

• RQ1 1パラメータのマーキォフ連続確率的バンディットモデルにおける、固定信頼度下での最良腕同定のインスタンス固有のサンプリング複雑度下界は何か？
• RQ2 IIDケースと比較して、マーキォフ依存性下でのトラック・アンド・ストップ戦略の性能はどの程度劣化するか？
• RQ3 マーキォフ連鎖の経験的平均値に対する、最適な指数的減衰と定数係数を伴う集中不等式を導出できるか？
• RQ4 最良腕同定の理論的枠組みは、IIDからマーキォフ依存過程へどの程度拡張できるか？
• RQ5 マーキォフ設定下で、トラック・アンド・ストップ戦略のサンプル複雑度と情報理論的下界との間の漸近的ギャップは何か？

主な発見

• 本稿は、最良マーキォフ腕同定のための非漸近的かつインスタンス固有の下界を確立し、IIDケースを一般化する。
• マーキォフ設定下でのトラック・アンド・ストップ戦略が、導出された下界の4倍以内に漸近的に収束することを示した。
• マーキォフ連鎖の経験的平均値に対する、最適な指数的減衰と定数係数を伴う新しい集中不等式を証明し、先行研究で見られる多項式係数を伴うものよりも優れている。
• 指数的族に属する確率的行列を明示的に特徴付け、1パラメータのマーキォフ連続確率的バンディットモデルの構築に用い、サンプリング複雑度の厳密な分析を可能にした。
• 分析により、$(\alpha,\delta)$-トラック・アンド・ストップ戦略がマーキォフモデル下で$\delta$-PAC（おそらく近似的に正しい）であり、有限の期待サンプル複雑度を持つことが確認された。
• 本研究の結果により、確率的マルチアームバンディットの理論的基盤が、マーキォフ依存腕を含めるように拡張され、アダプティブルーティングや臨床試験などの応用分野におけるより豊かなモデリングが可能になった。