[論文レビュー] Fixed-Confidence Guarantees for Bayesian Best-Arm Identification

Xuedong Shang, Rianne de Heide+3 more|arXiv (Cornell University)|Oct 24, 2019

Advanced Bandit Algorithms Research参考文献 20被引用数 5

ひとこと要約

本稿は、ガウス報酬を伴うベイジアン固定信頼度最良腕特定フレームワーク下で、計算効率の良いTop-Two Thompson Sampling (TTTS) の変種であるTop-Two Transportation Cost (T3C) を導入し、TTTSおよびT3Cの最初のサンプル複雑度解析を提供する。Russo (2016) が提起した未解決問題を解消し、δ-正しさと最適な事後分布収束を確立する。

ABSTRACT

We investigate and provide new insights on the sampling rule called Top-Two Thompson Sampling (TTTS). In particular, we justify its use for fixed-confidence best-arm identification. We further propose a variant of TTTS called Top-Two Transportation Cost (T3C), which disposes of the computational burden of TTTS. As our main contribution, we provide the first sample complexity analysis of TTTS and T3C when coupled with a very natural Bayesian stopping rule, for bandits with Gaussian rewards, solving one of the open questions raised by Russo (2016). We also provide new posterior convergence results for TTTS under two models that are commonly used in practice: bandits with Gaussian and Bernoulli rewards and conjugate priors.

研究の動機と目的

• 固定信頼度最良腕特定におけるTop-Two Thompson Sampling (TTTS) の理論的サンプル複雑度に関して、Russo (2016) が提起した未解決問題を解消すること。
• 計算コストを低減しながら理論的保証を維持する新しいベイジアンサンプリングルール、Top-Two Transportation Cost (T3C) を提案すること。
• ガウスバンディットにおいて、自然なベイジアン停止ルールと組み合わせた場合のTTTSおよびT3Cについて、δ-正しさと最適な事後分布収束を確立すること。
• 固定信頼度BAI設定下での、いつでも適用可能なベイジアンサンプリングルールの最初の厳密なサンプル複雑度解析を提供すること。
• レギュレート最小化アルゴリズムを超えた、ベイジアン最良腕特定における事後分布濃縮と探索効率の理論的理解を拡張すること。

提案手法

• サンプリング機構を輸送コストに基づく選択戦略に置き換えることで、TTTSの計算コストを低減したT3Cを提案する。
• 固定信頼度設定下でのδ-正しさを保証するため、事後確率のしきい値に基づくベイジアン停止ルールを採用する。
• サンプル複雑度の解析に、大偏差とKullback-Leibler発散の境界を用い、特に事後分布の尾部推定にBeta-Binomialのテクニックを活用する。
• KL発散と事後分布濃縮を用いて、誤った推薦の確率の境界を導出し、リスクパラメータδに関して指数的減少を証明する。
• 部分積分と下界に基づくKL発散最小化を用いて、誤差確率のタイトな上界を導出する。
• TTTSおよびT3Cにおいて、最良腕の確率がほとんど確実に1に収束することを確立し、最適レートに一致する。

実験結果

リサーチクエスチョン

• RQ1 Top-Two Thompson Sampling (TTTS) は、固定信頼度最良腕特定設定で最適なサンプル複雑度を達成するか？
• RQ2 TTTSの計算効率の良い変種、たとえばT3Cは、計算コストを削減しながらも理論的保証を維持できるか？
• RQ3 ガウスバンディットにおいて、自然なベイジアン停止ルールと組み合わせた場合のTTTSおよびT3Cのサンプル複雑度は何か？
• RQ4 TTTSおよびT3Cにおいて、真の最良腕が選択される事後確率はどの程度の速さで1に収束するか？
• RQ5 TTTSの理論的保証は、固定信頼度BAIフレームワーク下でのより広いクラスのベイジアンサンプリングルールに拡張可能か？

主な発見

• 本稿は、固定信頼度最良腕特定設定下でのTTTSの最初のサンプル複雑度解析を提供し、対数要因を除いて最適なサンプル複雑度を達成することを証明する。
• T3Cはδ-正しさを満たし、TTTSと同等の漸近的サンプル複雑度を達成するが、顕著に低い計算コストで実現可能であることが示された。
• TTTSおよびT3Cの両方において、最良腕が選択される事後確率は、ほとんど確実に最適レートで1に収束する。
• ガウスバンディットにおいて、提案されたベイジアン停止ルールは、期待されるサンプル複雑度が理論的下界に対数項を除いて一致するようにδ-正しさを保証する。
• 解析により、誤差確率がリスクパラメータδに関して指数的に減少することが示され、そのレートは臨界区間におけるKL発散の和の下界に依存する。
• 理論的境界により、誤った推薦の確率が、平均間隔に関連する定数Cに関してexp(−C)の形で減少する項によって上界づけられることを確認し、強力な信頼性保証を裏付ける。