[論文レビュー] Bandits with Switching Costs: T^{2/3} Regret

Ofer Dekel, Jian Ding+2 more|arXiv (Cornell University)|Oct 11, 2013

Advanced Bandit Algorithms Research参考文献 15被引用数 8

ひとこと要約

本稿は、交換コストを伴う敵対的マルチアームバンディット問題におけるミニマックスレグレットを $\widetilde{\Theta}(k^{1/3}T^{2/3})$ として確立し、探索と高価なスイッチングのバランスを取る必要があるため、バンディットフィードバックでの学習が完全なフィードバックよりも著しく難しいことを示している。主な貢献は、タイトなレグレットバウンドを可能にする新規のマルチスケールランダムウォーク構成であり、バンディットフィードバックを伴うオンライン学習における長年の未解決問題を解消している。

ABSTRACT

We study the adversarial multi-armed bandit problem in a setting where the player incurs a unit cost each time he switches actions. We prove that the player's $T$-round minimax regret in this setting is $\widetildeΘ(T^{2/3})$, thereby closing a fundamental gap in our understanding of learning with bandit feedback. In the corresponding full-information version of the problem, the minimax regret is known to grow at a much slower rate of $Θ(\sqrt{T})$. The difference between these two rates provides the \emph{first} indication that learning with bandit feedback can be significantly harder than learning with full-information feedback (previous results only showed a different dependence on the number of actions, but not on $T$.) In addition to characterizing the inherent difficulty of the multi-armed bandit problem with switching costs, our results also resolve several other open problems in online learning. One direct implication is that learning with bandit feedback against bounded-memory adaptive adversaries has a minimax regret of $\widetildeΘ(T^{2/3})$. Another implication is that the minimax regret of online learning in adversarial Markov decision processes (MDPs) is $\widetildeΘ(T^{2/3})$. The key to all of our results is a new randomized construction of a multi-scale random walk, which is of independent interest and likely to prove useful in additional settings.

研究の動機と目的

• 行動間の切り替えにコストがかかる場合のバンディットフィードバックを用いたオンライン学習の本質的難易度を特定すること。
• バンディットフィードバックが、$T$ 依存性の観点から、完全情報フィードバックよりも根本的に難しいかどうかの理解のギャップを埋めること。
• オンライン学習における未解決問題、特に有界記憶を持つ適応的敵対的アドバーシャーに対する学習および敵対的MDPを解消すること。
• タイトなレグレット解析を可能にする新規の確率的マルチスケールランダムウォーク構成を開発すること。

提案手法

• 著者らは、敵対的バンディット設定における探索とスイッチングコストのトレードオフをモデル化するため、新規のマルチスケールランダムウォーク構成を導入した。
• 最適な行動選択下で低レグレットを維持しつつ、高いスイッチングコストを強制する損失関数の系列を構築することで、レグレットの下界を導出した。
• 分析では、複数の時間スケールで行動の探索をバランスさせる確率的戦略が用いられ、ランダムウォークの構造を活用して敵対的損失系列をシミュレートした。
• 主な技術的要素として、$T^{2/3}$ レグレットレートに一致するように、分散とステップサイズを調整した複数スケールのランダムウォークの使用が挙げられる。
• この手法はバンディット設定およびその一般化、すなわち敵対的MDPや有界記憶アドバーシャーに対する学習に対しても適用可能である。
• 証明技法は確率的解析とミニマックスレグレット双対性を組み合わせており、最悪の損失系列下で、$\widetilde{\Omega}(T^{2/3})$ よりも良いレグレットを達成できる戦略は存在しないことを示している。

実験結果

リサーチクエスチョン

• RQ1 行動切り替えに単位コストがかかる場合のマルチアームバンディット問題におけるミニマックスレグレットは何か？
• RQ2 $T$ 依存性の観点から、バンディットフィードバックでの学習は、完全情報フィードバックよりも厳密に難しいか？
• RQ3 有界記憶を持つ適応的敵対的アドバーシャーに対するオンライン学習のミニマックスレグレットはどのように特定できるか？
• RQ4 バンディットフィードバックを伴う敵対的マルコフ決定過程におけるミニマックスレグレットは何か？
• RQ5 提案されたマルチスケールランダムウォーク構成は、複数のオンライン学習設定においてタイトなレグレットバウンドをもたらすか？

主な発見

• 交換コストを伴う$k$-アームバンディット問題におけるミニマックスレグレットは $\widetilde{\Theta}(k^{1/3}T^{2/3})$ であり、オンライン学習理論における根本的なギャップを埋めている。
• この結果は、バンディットフィードバックでの学習が完全なフィードバックよりも厳密に難しいことを示しており、$T$ 依存性がそれぞれ $T^{2/3}$ と $\sqrt{T}$ であるためである。
• 有界記憶を持つ適応的敵対的アドバーシャーに対するオンライン学習のミニマックスレグレットは $\widetilde{\Theta}(T^{2/3})$ であり、この設定における未解決問題を解消している。
• バンディットフィードバックを伴う敵対的MDPのミニマックスレグレットも $\widetilde{\Theta}(T^{2/3})$ であり、先行研究の上界と一致している。
• 提案されたマルチスケールランダムウォーク構成は、証明に不可欠であるだけでなく、独立した興味を持つものであり、他のオンライン学習の文脈でも有用である可能性が高い。
• レグレットとスイッチング回数のトレードオフが定量的に特定された：スイッチングコストなしで $\widetilde{O}(T^{\alpha})$ レグレットを達成する任意のアルゴリズムは、最悪の場合 $\widetilde{\Omega}(T^{2(1-\alpha)})$ 回のスイッチングを実行しなければならない。