[論文レビュー] lil' UCB : An Optimal Exploration Algorithm for Multi-Armed Bandits

Kevin Jamieson, Matthew Malloy+2 more|arXiv (Cornell University)|Dec 27, 2013

Advanced Bandit Algorithms Research参考文献 4被引用数 59

ひとこと要約

この論文は、固定信頼度設定における確率的マルチアームバンディットの最良腕同定問題に対して、新しいUpper Confidence Bound（UCB）アルゴリズムであるlil'UCBを提案する。有限標本版の繰り返し対数法則（LIL）を用いて信頼区間を構築し、腕の集合に対する和集合バウンディングを回避する新しい停止時刻を採用することで、定数倍の要因を除いて最適なサンプル複雑度を達成し、LILから導かれる理論的下界と一致する。

ABSTRACT

The paper proposes a novel upper confidence bound (UCB) procedure for identifying the arm with the largest mean in a multi-armed bandit game in the fixed confidence setting using a small number of total samples. The procedure cannot be improved in the sense that the number of samples required to identify the best arm is within a constant factor of a lower bound based on the law of the iterated logarithm (LIL). Inspired by the LIL, we construct our confidence bounds to explicitly account for the infinite time horizon of the algorithm. In addition, by using a novel stopping time for the algorithm we avoid a union bound over the arms that has been observed in other UCB-type algorithms. We prove that the algorithm is optimal up to constants and also show through simulations that it provides superior performance with respect to the state-of-the-art.

研究の動機と目的

• 定数倍の要因を除いて最適なサンプル複雑度を達成する固定信頼度設定下での最良腕同定アルゴリズムの開発。
• 既存のUCB型アルゴリズムが信頼区間において不要な対数的または和集合バウンディングのペナルティを被るという問題の解決。
• 腕の集合に対する和集合バウンディングを回避し、よりタイトなギャップ依存信頼区間を可能にする停止基準の設計。
• 停止時刻および任意時性能の両面で、最先端の手法を上回ることを実験的に検証すること。
• LILによって予測されるサンプル複雑度における二重対数因子が、実際に避けがたく、かつ実装可能なアルゴリズムで達成可能であることを示すこと。

提案手法

• アルゴリズムは、有限標本版の繰り返し対数法則（LIL）を用いて、√(2t log log t)に比例する信頼区間を構築し、無限時間枠組みを明示的に反映する。
• 腕の集合に対する和集合バウンディングを回避する新しい停止時刻を導入し、ギャップサイズに依存するよりタイトな信頼区間を実現する。
• サブガウス型尾部バウンディングを用い、LILから導かれるスケールパラメータを採用することで、時間経過に伴う高確率的カバレッジを保証する。
• LILに基づく上位信頼区間から得られる動的腕選択を採用し、ギャップが大きく不確実性の高い腕を優先する。
• 理論的保証を省いたが、実用的性能が優れるため、実用用に設計されたヒューリスティック版「lil'UCBヒューリスティック」を導入する。
• 「ダブルイングトリック」と腕の集合に対する和集合バウンディングを回避することで、定数の改善とよりタイトなサンプル複雑度バウンディングを達成する。

実験結果

リサーチクエスチョン

• RQ1 UCB型アルゴリズムは、繰り返し対数法則（LIL）から導かれる下界と一致する最適なサンプル複雑度を、固定信頼度設定下の最良腕同定問題で達成できるか？
• RQ2 腕の集合に対する和集合バウンディングを回避しつつも、高確率的正しさを保証できる停止基準を設計できるか？
• RQ3 LILによって予測されるサンプル複雑度における二重対数因子は、実際に避けがたく、かつ実装可能か？
• RQ4 LILに基づく信頼区間と標準的なUCB信頼区間は、実験的停止時刻および任意時性能においてどのように比較されるか？
• RQ5 理論的保証を欠くが、実用的ヒューリスティック版アルゴリズムは、理論的保証なしでも高い性能を維持できるか？

主な発見

• lil'UCBは、繰り返し対数法則（LIL）から導かれる理論的下界 ∑ᵢ Δᵢ⁻² log log Δᵢ⁻² と一致する、定数倍の要因を除いて最適なサンプル複雑度を達成する。
• アルゴリズムは腕の集合に対する和集合バウンディングを回避し、多くのUCB型アルゴリズムに見られる log(n) ペナルティを排除する。
• シミュレーションでは、lil'UCBは、特にスパarsely設定や困難な問題インスタンスにおいて、逐次的除去法や指数的ギャップ除去法を著しく上回る停止時刻を達成する。
• lil'UCBとUCB1+LSの任意時性能は、最良腕の同定において、逐次的除去法の2倍以上速い。
• lil'UCBヒューリスティック版は理論的保証を欠くが、数万回の実験において最良腕を同定しなかったことはなく、停止時刻および任意時性能の両面で他のすべてのアルゴリズムを上回る。
• LILに基づく停止基準は、標準的なlil'UCBの性能に強くプラスの影響を与えるが、ヒューリスティック版にはほとんど影響を及ぼさない。これは、ヒューリスティック版が既に本質的な振る舞いを捉えていることを示唆する。