[論文レビュー] On Explore-Then-Commit Strategies

Aurélien Garivier, Emilie Kaufmann+1 more|arXiv (Cornell University)|May 29, 2016

Advanced Bandit Algorithms Research被引用数 59

ひとこと要約

本稿は、2腕のガウス的バンディット問題における探索-次に利用（ETC）戦略が根本的に劣化していることを示しており、最適な完全順序戦略と比較して、漸近的レグレットが2倍に達することを明らかにしている。ETC戦略は、ギャップΔが既知の場合にレグレット~4log(T)/Δを達成し、Δが未知の場合に~4log(T)/Δを達成するが、完全順序戦略（例：UCB）は最適な~2log(T)/Δを達成する。これは、ETC戦略がその固定されたフェーズ分離構造によって本質的に制限を受けることを証明する。

ABSTRACT

We study the problem of minimising regret in two-armed bandit problems with Gaussian rewards. Our objective is to use this simple setting to illustrate that strategies based on an exploration phase (up to a stopping time) followed by exploitation are necessarily suboptimal. The results hold regardless of whether or not the difference in means between the two arms is known. Besides the main message, we also refine existing deviation inequalities, which allow us to design fully sequential strategies with finite-time regret guarantees that are (a) asymptotically optimal as the horizon grows and (b) order-optimal in the minimax sense. Furthermore we provide empirical evidence that the theory also holds in practice and discuss extensions to non-gaussian and multiple-armed case.

研究の動機と目的

• 順序的意思決定における探索-次に利用戦略の広範な使用を挑戦すること、特にA/Bテストやオンライン最適化における応用を想定する。
• 2腕のバンディット問題において、ガウス的報酬を持つ場合に、フェーズベースの戦略（探索後に活用）が本質的に劣化していることを形式的に証明すること。
• ギャップΔが既知または未知の状況下でのETC戦略に対して、タイトな漸近的レグレットバウンドを確立すること。
• 探索と活用を動的に混合する完全順序戦略が、最適なレグレットレートを達成できることを示すこと。
• 有限時間のレグレット保証を持つ、漸近的に最適な戦略の設計を支援するための改良された逸脱不等式を精緻化すること。

提案手法

• 同一分布に従うガウス的報酬を持つ2腕バンディット問題を分析し、最適報酬と期待累積報酬の差としてのレグレットを導出する。
• 固定予算ETC（各腕をn回探索）と、停止時刻選択に逐次尤度比検定（SPRT）を用いた順序ETCを比較する。
• UCBにインspiredされた完全順序戦略を導入し、信頼区間を用いて探索と活用を動的にバランスさせる。
• 精緻化された集中不等式と積分バウンドを用いて、有限時間のレグレット保証と漸近的レートを導出する。
• ワルドの逐次分析フレームワークを用いて、ETC戦略のレグレットに対する下界を証明し、それらが導出されたレートを超えることはできないことを示す。
• ギャップΔが未知のETC設定において、修正された固定予算最良腕特定アルゴリズムを適用する。

実験結果

リサーチクエスチョン

• RQ1 2腕のバンディット問題において、ガウス的報酬を持つ場合に、探索-次に利用戦略はレグレットを最小化するのに最適か？
• RQ2 ETC戦略は、UCBのような完全順序戦略と同等のレグレットレートを達成できるか？
• RQ3 2腕のバンディット問題において、ギャップΔが既知または未知の場合に、ETC戦略のレグレットに対する根本的限界は何か？
• RQ4 精緻化された逸脱不等式は、有限時間のレグレット保証を持つ順序戦略の設計をどのように改善するか？
• RQ5 完全順序戦略の優位性は実際の状況でも成立するのか？また、非ガウス的かつ多腕設定へと拡張可能か？

主な発見

• ギャップΔが既知であろうと未知であろうと、探索-次に利用戦略は、最適な完全順序戦略と比較して、漸近的レグレットが約2倍に達する。
• Δが既知の場合、SPRTを用いた最良ETC戦略はレグレット~log(T)/Δを達成し、ETCクラス内で最適であるが、UCBに類する完全順序戦略が達成する最適レート~2log(T)/Δの2倍に達する。
• Δが未知の場合、修正された最良腕特定アルゴリズムに基づくETC戦略は、再びレグレット~4log(T)/Δを達成するが、依然として最適レート~2log(T)/Δの2倍に達する。
• 本稿は、Δが既知の場合に、どのETC戦略も~log(T)/Δより良いレグレットを達成できないことを下界として証明し、このクラス内でSPRTに基づくETC戦略の最適性を確認する。
• UCBにインspiredされた完全順序戦略は、レグレット~2log(T)/Δを達成し、情報理論的下界と一致するため、漸近的に最適であることを証明する。
• 実証的証拠は理論的結果を支持しており、実用的状況において完全順序戦略がETCを上回ることを示している。