[論文レビュー] Corralling a Band of Bandit Algorithms

Alekh Agarwal, Haipeng Luo+2 more|arXiv (Cornell University)|Dec 19, 2016

Advanced Bandit Algorithms Research参考文献 18被引用数 7

ひとこと要約

本稿では、孤立して実行された際の最良の基本的アルゴリズムと同等のレグレットを達成できるように、複数のバンディットアルゴリズムを統合するマスターアルゴリズムCorralを提案する。適応的学習率を備えた新規のログバリアー・OMDフレームワークを用いることで、性能が劣るが潜在的に優れた基本的アルゴリズムの持続的探索を保証し、マルチアーム、コンテキスト、凸バンディット設定においてO(√T)のレグレットを達成する。

ABSTRACT

We study the problem of combining multiple bandit algorithms (that is, online learning algorithms with partial feedback) with the goal of creating a master algorithm that performs almost as well as the best base algorithm if it were to be run on its own. The main challenge is that when run with a master, base algorithms unavoidably receive much less feedback and it is thus critical that the master not starve a base algorithm that might perform uncompetitively initially but would eventually outperform others if given enough feedback. We address this difficulty by devising a version of Online Mirror Descent with a special mirror map together with a sophisticated learning rate scheme. We show that this approach manages to achieve a more delicate balance between exploiting and exploring base algorithms than previous works yielding superior regret bounds. Our results are applicable to many settings, such as multi-armed bandits, contextual bandits, and convex bandits. As examples, we present two main applications. The first is to create an algorithm that enjoys worst-case robustness while at the same time performing much better when the environment is relatively easy. The second is to create an algorithm that works simultaneously under different assumptions of the environment, such as different priors or different loss structures.

研究の動機と目的

• 基本的アルゴリズムが状態依存であり、最適性能に到達するまで持続的なフィードバックを必要とする場合でも、最良の基本的バンディットアルゴリズムとほぼ同等の性能を発揮するマスターアルゴリズムを設計すること。
• アンサンブルバンディット学習における「飢餓問題」を克服すること。これは、性能向上に遅れがある基本的アルゴリズムが、フィードバックが不足しているために無視されてしまう現象である。
• マスターの部分的フィードバック設定（基本的アルゴリズムへのフィードバックが制限されている）にもかかわらず、最良の基本的アルゴリズムと同等のレグレットバウンド（例：O(√T)）を達成すること。
• データの環境がi.i.d.または敵対的であるかどうかを事前に知らない状態でも、多様な環境に適応して良好な性能を発揮できること。
• 異なる事前分布や損失構造といった複数の仮定を同時に満たす条件下で、動的に最も適した基本的アルゴリズムを選択することで、同時に運用することを可能とすること。

提案手法

• オンラインミラー降下（OMD）に基づく新規なマスターアルゴリズムCorralを提案。ミラー写像としてログバリアー関数ψ(p) = −∑(1/η_t,i) ln p_i を採用し、1/p_t,i の線形的増加を保証することで極端な重み付けを防ぐ。
• フィードバック確率が低い場合に増加する非減少的かつ適応的学習率スケジュールη_t,i を導入し、性能が劣るが潜在的に優れたアルゴリズムの探索を促進する。
• 極端な確率を回避し、基本的アルゴリズムの早期飢餓を防ぐために、滑らか化されたサンプリング分布p̄_t = (1−ε)p_t + ε/M を用いる。
• 選択された時刻tにおける基本的アルゴリズムiの不偏損失推定器ℓ_t,i = f_t(θ_t,x_t)/p̄_t,i を採用し、一貫した勾配更新を保証する。
• レグレット分解を導出し、主要な項∑_t (1/η_{t+1,i} − 1/η_{t,i}) / p̄_{t+1,i} が非正であり、適応的学習率によって制御可能であることを示し、タイトなレグレットバウンドの達成を可能にする。
• マルチアームバンディット、コンテキストバンディット、凸バンディット設定に本手法を適用し、バンディットフレームワーク全体に一般化可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 状態依存で、最適性能に到達するまで持続的なフィードバックを必要とする基本的アルゴリズムに対しても、最良の基本的バンディットアルゴリズムと同等のレグレットを達成できるマスターアルゴリズムを設計できるか？
• RQ2 初期段階で性能が劣るが、最終的には他のアルゴリズムを上回る可能性がある基本的アルゴリズムを、マスターアルゴリズムが飢餓状態に陥らせず、効果的に探索できるか？
• RQ3 基本的アルゴリズムが孤立して実行された場合にO(√T)のレグレットを達成するとしても、マスターの部分的フィードバック設定下でO(√T)のレグレットを達成できるか？
• RQ4 どのようなミラー写像と学習率スケジュールが、アンサンブルバンディット学習における強力な特化と持続的探索の両立を可能にするか？
• RQ5 データ構造を事前に知らない状態でも、マスターアルゴリズムがi.i.d.と敵対的の両環境で適応的に良好な性能を発揮できるか？

主な発見

• 提案されたCorralアルゴリズムは、最良の基本的アルゴリズムがO(√T)のレグレットを達成する場合、マスターのレグレットもO(√T)に達し、アンサンブルバンディット学習における未解決問題を解決する。
• ログバリアー・ミラー写像の使用により、1/p_t,i が累積損失に比例して線形に増加し、極端な重み付けを最小限に抑え、アルゴリズムの飢餓を防止する。
• フィードバック確率が低い場合に増加する適応的学習率スケジュールη_t,i により、性能が劣るが潜在的に優れた基本的アルゴリズムに対するより能動的かつ的確な探索が可能になる。
• 滑らか化されたサンプリング分布p̄_t により、高確率の基本的アルゴリズムへの過剰な集中が回避され、アルゴリズムのロバスト性と安定性が向上する。
• 本アルゴリズムはマルチアームバンディット、コンテキストバンディット、凸バンディットに適用可能であり、広範な一般性と強い理論的保証を示している。
• レグレット解析により、重要な項∑_t (1/η_{t+1,i} − 1/η_{t,i}) / p̄_{t+1,i} が非正であり、制御可能であることが示され、最適なレグレットバウンドを達成する上で不可欠である。