[論文レビュー] Prediction without loss in multi-armed bandit problems

Michael Kapralov, Rina Panigrahy‎|arXiv (Cornell University)|Aug 22, 2010

Advanced Bandit Algorithms Research参考文献 22被引用数 1

ひとこと要約

本稿では、長さ $T$ の入力系列に対して常に近似的にゼロの期待損失を達成しながら、$14\epsilon T$ の有界なリグレットを維持するマルチアームド・バンディットアルゴリズムを提示する。新たな損失-リグレットトレードオフ機構を活用することで、完全な予測からの最小限のずれを保証し、$N$ 専門家設定へと拡張され、エベング・ダールら（COLT'07）の先行研究を上回る性能を達成する。

ABSTRACT

Consider a sequence of bits where we are trying to predict the next bit from the previous bits. Assume we are allowed to say 'predict 0' or 'predict 1', and our payoff is +1 if the prediction is correct and -1 otherwise. We will say that at each point in time the loss of an algorithm is the number of wrong predictions minus the number of right predictions so far. In this paper we are interested in algorithms that have essentially zero (expected) loss over any string at any point in time and yet have small regret with respect to always predicting 0 or always predicting 1. For a sequence of length $T$ our algorithm has regret $14\epsilon T $ and loss $2\sqrt{T}e^{-\epsilon^2 T} $ in expectation for all strings. We show that the tradeoff between loss and regret is optimal up to constant factors. Our techniques extend to the general setting of $N$ experts, where the related problem of trading off regret to the best expert for regret to the `special' expert has been studied by Even-Dar et al. (COLT'07). We obtain essentially zero loss with respect to the special expert and optimal loss/regret tradeoff, improving upon the results of Even-Dar et al and settling the main question left open in their paper. The strong loss bounds of the algorithm have some surprising consequences. A simple iterative application of our algorithm gives essentially optimal regret bounds at multiple time scales, bounds with respect to $k$-shifting optima as well as regret bounds with respect to higher norms of the input sequence.

研究の動機と目的

• 任意のビット系列に対して、期待損失がほぼゼロとなる予測アルゴリズムを設計すること。
• エベング・ダールら（COLT'07）が残した、最良の専門家に対するリグレットと特別な専門家に対するトレードオフのオープンな問題を解決すること。
• $N$ 専門家設定において、損失とリグレットの最適なトレードオフを達成し、既存のバウンドを改善すること。
• 強い損失バウンドが、マルチスケールリグレットや $k$-シフト最適解バウンドといった驚くべき結果をもたらすことを可能とすること。
• 繰り返し適用可能な基盤を提供し、入力系列の複数の時間スケールおよびノルムにおいて最適なリグレットを達成すること。

提案手法

• 期待損失が $2\sqrt{T}e^{-\epsilon^2 T}$ として指数関数的に減少するように、精度と損失最小化のバランスをとった精密にキャリブレートされた予測戦略を用いる。
• 正則化された損失更新ルールを採用し、正しい予測からの逸脱をペナルティ化するとともに、常に 0 や 1 を予測するのと比較した累積リグレットを追跡する。
• 1人の専門家を「特別な」基準として扱うことにより、$N$ 専門家へと拡張する。これにより、その専門家に対する損失を最小化しながら、リグレットを低く保つ。
• 指数的重み付けに損失に敏感な調整を組み合わせた、重要な技術的要素を有する。これにより、系列パターンに適応的に応答できる。
• アルゴリズムの構造が繰り返し適用可能であり、複数の時間スケールおよび入力ノルムにおいて、性能を段階的に向上させられる。
• 理論的分析には集中不等式とマルティンゲールの議論を用い、期待値における損失とリグレットの両方をバウンドする。

実験結果

リサーチクエスチョン

• RQ1 任意のビット系列に対して、期待損失がほぼゼロでありながら、サブ線形リグレットを維持できるアルゴリズムは存在するか？
• RQ2 専門家アドバイス付きマルチアームド・バンディット問題における、損失とリグレットの最適なトレードオフは何か？
• RQ3 特別な専門家に対する損失を最小化しながら、リグレット性能を損なわない方法は何か？
• RQ4 強い損失バウンドがマルチスケールおよび $k$-シフトリグレット設定に与える影響は何か？
• RQ5 アルゴリズムの繰り返し適用により、多様な時間スケールおよび入力系列のノルムにおいて最適なリグレットを達成できるか？

主な発見

• 任意の長さ $T$ の入力系列に対して、期待損失が $2\sqrt{T}e^{-\epsilon^2 T}$ に抑えられ、$T$ とともに指数関数的に減少する。
• 期待リグレットは $14\epsilon T$ に抑えられ、与えられた損失設定において定数因子を除いて最適である。
• 損失-リグレットトレードオフが定数因子を除いて最適であることが証明され、重要な理論的問いが解決された。
• エベング・ダールら（COLT'07）の研究を上回り、特別な専門家に対する損失をほぼゼロに抑えながら、最適なリグレットを維持している。
• アルゴリズムの繰り返し適用により、複数の時間スケールにおいて最適なリグレットバウンドが得られ、$k$-シフト最適解に対しても同様の結果が得られる。
• 強い損失バウンドにより、入力系列の高次のノルムに対しても新たなリグレット保証が可能となり、広範な適用可能性が示された。