[論文レビュー] How to Beat the Adaptive Multi-Armed Bandit

Varsha Dani, Thomas P. Hayes|ArXiv.org|Feb 14, 2006

Advanced Bandit Algorithms Research参考文献 11被引用数 5

ひとこと要約

本稿は、過去の行動に依存する報酬が得られる適応的マルチアームバンディット問題に対する 'Accounts' アルゴリズムを提案する。高確率で O(√(TK log K)) のレグレットを達成し、最適なフル情報境界と一致しており、非適応的設定における従来の高確率境界 O(T^{2/3}) より顕著に改善している。この手法は、探索と活用のバランスを保つために、指数的減衰制御を用いた新規な適応的確率更新ルールを採用している。

ABSTRACT

The multi-armed bandit is a concise model for the problem of iterated decision-making under uncertainty. In each round, a gambler must pull one of $K$ arms of a slot machine, without any foreknowledge of their payouts, except that they are uniformly bounded. A standard objective is to minimize the gambler's regret, defined as the gambler's total payout minus the largest payout which would have been achieved by any fixed arm, in hindsight. Note that the gambler is only told the payout for the arm actually chosen, not for the unchosen arms. Almost all previous work on this problem assumed the payouts to be non-adaptive, in the sense that the distribution of the payout of arm $j$ in round $i$ is completely independent of the choices made by the gambler on rounds $1, \dots, i-1$. In the more general model of adaptive payouts, the payouts in round $i$ may depend arbitrarily on the history of past choices made by the algorithm. We present a new algorithm for this problem, and prove nearly optimal guarantees for the regret against both non-adaptive and adaptive adversaries. After $T$ rounds, our algorithm has regret $O(\sqrt{T})$ with high probability (the tail probability decays exponentially). This dependence on $T$ is best possible, and matches that of the full-information version of the problem, in which the gambler is told the payouts for all $K$ arms after each round. Previously, even for non-adaptive payouts, the best high-probability bounds known were $O(T^{2/3})$, due to Auer, Cesa-Bianchi, Freund and Schapire. The expected regret of their algorithm is $O(T^{1/2}) for non-adaptive payouts, but as we show, $Ω(T^{2/3})$ for adaptive payouts.

研究の動機と目的

• 報酬が過去の意思決定に基づいて適応的に選ばれる状況下で、レグレットを最小化する課題に対処すること。
• 特に適応的敵対的環境下において、期待値レグレット境界と高確率レグレット保証のギャップを埋めること。
• 非適応的敵対的環境だけでなく、過去の選択に依存する報酬を提示する適応的敵対的環境に対しても最適に動作するアルゴリズムを設計すること。
• 適応的敵対的環境下では、非適応的敵対的環境と比較してレグレットが定数倍以上に増加することはないことを示すこと。

提案手法

• ‘Accounts’ アルゴリズムは、観測された報酬と制御パラメータ α に基づいて、アーム選択確率を動的に調整する新規な確率更新メカニズムを用いる。
• 状態依存の更新ルールを導入し、任意のアームの選択確率が目標値 α に収束するように保証するとともに、ずれの制御された拡散と指数的減衰を実現する。
• 2段階のフィードバックメカニズムを採用：累積報酬を追跡し、選択確率の変化率を制御するしきい値ベースのメカニズムを用いる。
• 集中不等式とマルティングル解析を用いて、レグレットの尾確率をバインドし、高確率性能を保証する。
• パラメータ化されたコスト系列 V(Exp3(γ,η), α) の族を用いて、従来のアルゴリズムの欠陥を露呈する適応的敵対的環境を構築する。
• 理論的解析では、しきい値 α を繰り返し通過する過程でのレグレット蓄積を分析するためのループ走査モデルを用い、期待値および分散成分のバOUNDSを導出する。

実験結果

リサーチクエスチョン

• RQ1 適応的敵対的環境下でも、フル情報設定の最適境界と一致する高確率レグレット境界を達成できるバンディットアルゴリズムは存在するか？
• RQ2 バンディット設定において、適応的敵対的環境が非適応的敵対的環境と比較して、最大でどの程度のレグレット増加を引き起こせるか？
• RQ3 非適応的敵対的環境下で、高確率設定においてレグレット境界を O(T^{2/3}) から O(√(TK log K)) に改善できるか？
• RQ4 Exp3アルゴリズムは適応的敵対的環境に対してもロバストであるか、それとも Ω(T^{2/3}) の期待レグレットを引き起こす可能性があるか？
• RQ5 非適応的および適応的報酬モデルの両方において最適に動作する単一のアルゴリズムを設計できるか？

主な発見

• ‘Accounts’ アルゴリズムは、確率 1 − 1000K√α exp(−√α log K / 8) 以上で、R ≤ (α + 7)√(TK ln K) のレグレットを達成し、高確率性能を証明する。
• ‘Accounts’ アルゴリズムの期待レグレットは O(√(TK log K)) であり、フル情報設定における既知の最適境界と一致する。
• アルゴリズムの高確率レグレット境界は、対数要因を除いて最適であり、√T 依存性は情報理論的に不可避である。
• 本稿では、Exp3(γ,η) に対して期待レグレット Ω(T^{2/3}) を引き起こす適応的コスト系列を構築し、従来のアルゴリズムが適応的敵対的環境下で限界に達することを示している。
• K=2 かつ T=2 の場合、適応的コストは期待レグレットを 2/3 に引き上げるが、非適応的コストでは 1/2 にとどまるため、適応的敵対的環境が非適応的環境よりも強く、厳密に強いことが示された。
• 解析により、選択頻度が低いアームのレグレットの分散が Θ(1/α²) に比例して増加することが判明し、α が小さい場合の下界に寄与している。