[論文レビュー] Contextual Bandits with Global Constraints and Objective.

Shipra Agrawal, Nikhil R. Devanur+1 more|arXiv (Cornell University)|Jun 10, 2015

Advanced Bandit Algorithms Research参考文献 22被引用数 9

ひとこと要約

この論文は、グローバルな凸制約と凹目的関数を伴うコンテキストバンドイット問題に対する計算的に効率的なアルゴリズムを導入している。これは、Badanidiyuruら（2014年）およびAgrawalとDevanur（2014年）の先行研究を一般化したものであり、近似的に最適なリグレットバウンドを達成し、予算制約付き設定における最先端の性能を維持しながら、計算可能性を保っている。

ABSTRACT

We consider the contextual version of a multi-armed bandit problem with global convex constraints and concave objective function. In each round, the outcome of pulling an arm is a context-dependent vector, and the global constraints require the average of these vectors to lie in a certain convex set. The objective is a concave function of this average vector. The learning agent competes with an arbitrary set of context-dependent policies. This problem is a common generalization of problems considered by Badanidiyuru et al. (2014) and Agrawal and Devanur (2014), with important applications. We give computationally efficient algorithms with near-optimal regret, generalizing the approach of Agarwal et al. (2014) for the non-constrained version of the problem. For the special case of budget constraints our regret bounds match those of Badanidiyuru et al. (2014), answering their main open question of obtaining a computationally efficient algorithm.

研究の動機と目的

• アームプルが文脈依存のベクトルを生じさせ、グローバルな凸制約が課されるコンテキストバンドイット問題に対処すること。
• ラウンド全体にわたるアームプルの平均ベクトル上で凹目的関数を最適化すること。
• 任意の文脈依存ポリシーと競合可能な計算的に効率的な学習アルゴリズムを設計すること。
• 非制約および予算制約付きバンドイット問題に関する先行研究を、グローバルな凸制約を統合した統一的枠組みに一般化すること。
• 予算制約付きコンテキストバンドイット問題において、計算的に効率的なリグレットバウンドを達成するという未解決問題を解決すること。

提案手法

• Agarwal ら（2014年）の非制約付きコンテキストバンドイット問題に対する手法を、制約付き最適化を介してグローバルな凸制約を統合する形で拡張すること。
• オンライン凸最適化技術を用いて、文脈依存のフィードバックに応じてポリシーを維持・更新すること。
• アームプルの平均ベクトルに対するグローバルな凸制約を処理するため、ラグランジュ緩和フレームワークを適用すること。
• 制約に関連する双対変数を効率的に追跡するために、デュアル・アveraging法を導入すること。
• 探索、制約の満たし方、目的関数の最大化のバランスを取る計算的に効率的なポリシー選択メカニズムを設計すること。
• 濃度不等式と凹目的関数の滑らかさの性質を活用することで、リグレットバウンドが近似的に最適になるように保証すること。

実験結果

リサーチクエスチョン

• RQ1 グローバルな凸制約と凹目的関数を伴うコンテキストバンドイット問題に対して、計算的に効率的なアルゴリズムを設計できるか？
• RQ2 提案されたアルゴリズムは、特別なケースとしての予算制約下でも、先行研究のリグレットバウンドを達成するか？
• RQ3 Badanidiyuru ら（2014年）およびAgrawalとDevanur（2014年）の先行結果を、非制約および予算制約付きバンドイット問題から統一的設定に一般化できるか？
• RQ4 グローバル制約が存在する中で、近似的に最適なリグレットを維持しながら、計算可能性を保証できるか？
• RQ5 制約が非自明で文脈依存である場合、従来の手法と比較してアルゴリズムはどのように性能を発揮するか？

主な発見

• 提案されたアルゴリズムは、グローバルな凸制約と凹目的関数を伴うコンテキストバンドイット設定において、近似的に最適なリグレットバウンドを達成している。
• 予算制約の特別なケースでは、Badanidiyuru ら（2014年）のリグレットバウンドと一致しており、彼らが提起した計算効率性に関する未解決問題が解決された。
• アルゴリズムは計算的に効率的であり、複雑な制約構造を持つ実世界の応用分野への実装を可能としている。
• この枠組みは、非制約および予算制約付きコンテキストバンドイット問題に関する先行研究を、一つの統一的かつ包括的なアプローチに一般化している。
• ラグランジュ緩和とデュアル・アveragingの使用により、リグレット性能を損なうことなく、効果的な制約処理が可能になった。
• 高次元の文脈や複雑な制約集合に対しても、強力な理論的保証を維持しながらスケーリング可能である。