[論文レビュー] An optimal algorithm for the Thresholding Bandit Problem

Andrea Locatelli, Maurilio Gutzeit+1 more|arXiv (Cornell University)|May 27, 2016

Advanced Bandit Algorithms Research参考文献 11被引用数 48

ひとこと要約

本稿では、固定時間枠内で与えられたしきい値より大きな平均を持つすべてのアームを特定することを目的とする、しきい値バンドイット問題（TBP）のためのパラメータフリーなアルゴリズムAPTを提示する。この手法は、信頼区間に基づく新しいヒューリスティックを用い、情報理論的下界に一致する性能を達成することで最適性を実現し、非自明な固定予算組合せ純探索問題における最初の最適解である。

ABSTRACT

We study a specific extit{combinatorial pure exploration stochastic bandit problem} where the learner aims at finding the set of arms whose means are above a given threshold, up to a given precision, and extit{for a fixed time horizon}. We propose a parameter-free algorithm based on an original heuristic, and prove that it is optimal for this problem by deriving matching upper and lower bounds. To the best of our knowledge, this is the first non-trivial pure exploration setting with extit{fixed budget} for which optimal strategies are constructed.

研究の動機と目的

• 固定予算設定における組合せ純探索バンドイット問題において、最適なアルゴリズムが不足しているという問題に対処すること。
• 固定時間枠Tが与えられたもとで、しきい値を超えるすべてのアームを高確率で特定できる、パラメータフリーな戦略を開発すること。
• 従来、下界が存在しなかった固定予算TBP設定における既知の上界と下界のギャップを埋めること。
• 導出された上界と下界が一致することにより、TBP問題における理論的最適性を確立すること。
• 特に、問題の複雑さに関する事前知識が得られない状況でも、既存手法を上回ることを示すこと。

提案手法

• アルゴリズムAPTは、実験的平均がしきい値τに近いアームを優先するための、信頼区間に基づく新しいヒューリスティックを用いる。
• UCB風の上側信頼区間を用いて、τからの逸脱度の推定値をバランスさせることで、探索と活用を動的に割り当てる。
• ハイパーパramータのチューニングや問題の複雑さHの知識を必要としないため、完全にパラメータフリーである。
• 理論的分析により、アルゴリズムの誤差確率がTに従って指数関数的に減少し、情報理論的下界と一致することが示された。
• 固定予算設定におけるTBPの根本的な難易度を確立する新しい下界解析から導出されたアルゴリズムである。
• さまざまなアーム平均設定において、APTをUCBE、CSAR、および一様割り当てと比較する実験により検証された。

実験結果

リサーチクエスチョン

• RQ1 固定予算設定において、しきい値バンドイット問題の最適性能を達成するパラメータフリーなアルゴリズムを設計できるか？
• RQ2 固定時間枠内でしきい値を超えるアームを特定する際の誤差確率の根本的限界（下界）は何か？
• RQ3 問題の複雑さに関する事前知識が得られない状況で、APTの性能はCSARやUCB型戦略と比べてどうなるか？
• RQ4 誤差確率に対して一致する上界が存在するか？ これにより、提案されたアルゴリズムの理論的最適性が確認できるか？
• RQ5 提案されたヒューリスティックは、固定予算を前提とした他の組合せ純探索問題へ一般化可能か？

主な発見

• APTは、誤差確率に関する導出された情報理論的下界と一致させることで最適性能を達成し、非自明な固定予算組合せ純探索問題における最初の最適アルゴリズムであることが立証された。
• 誤差確率は $ K \exp\left(-\frac{T}{\log(K)H_2}\right) $ として減少し、対数要因を除いて下界と一致する。
• 実験では、APTは一様割り当てや劣化したUCB変種を上回り、Hの知識を必要とするCSARやUCBE(1)と同等またはそれを上回る性能を示した。
• 結果から、APTは問題の難易度に関する事前知識がなくても、ロバストで効果的であることが確認された。一方、UCBEやCSARはチューニングや複雑さ推定を必要とする。
• 本研究により、固定予算TBP問題には非自明な下界が存在することが明らかになり、従来、このような下界が存在しなかった文献のギャップが解消された。
• 理論的枠組みにより、アーム平均としきい値の差に関連する複雑さパrameter $ H_2 $ が、誤差確率の収束速度を支配することが示された。