[論文レビュー] Algorithms with logarithmic or sublinear regret for constrained contextual bandits

Huasen Wu, R. Srikant+2 more|arXiv (Cornell University)|Dec 7, 2015

Advanced Bandit Algorithms Research参考文献 25被引用数 23

ひとこと要約

本稿では、時間的・予算的制約を伴う制約付きコンテキストバンディット問題に対して、適応的線形計画法（ALP）と上側信頼区間（UCB）探索を組み合わせた、UCB-ALPと呼ばれる新しいアルゴリズムを提案する。本手法は、事前分布が既知および未知の状況下でも対数的レグレットを達成し、この問題クラスにおいて初めての結果である。

ABSTRACT

We study contextual bandits with budget and time constraints, referred to as constrained contextual bandits. The time and budget constraints significantly complicate the exploration and exploitation tradeoff because they introduce complex coupling among contexts over time. To gain insight, we first study unit-cost systems with known context distribution. When the expected rewards are known, we develop an approximation of the oracle, referred to Adaptive-Linear-Programming (ALP), which achieves near-optimality and only requires the ordering of expected rewards. With these highly desirable features, we then combine ALP with the upper-confidence-bound (UCB) method in the general case where the expected rewards are unknown a priori. We show that the proposed UCB-ALP algorithm achieves logarithmic regret except for certain boundary cases. Further, we design algorithms and obtain similar regret bounds for more general systems with unknown context distribution and heterogeneous costs. To the best of our knowledge, this is the first work that shows how to achieve logarithmic regret in constrained contextual bandits. Moreover, this work also sheds light on the study of computationally efficient algorithms for general constrained contextual bandits.

研究の動機と目的

• 時間的・予算的制約が存在するコンテキストバンディット問題に取り組み、時間的結合性により探索と活用のトレードオフが複雑化することを扱う。
• 期待報酬が既知の状況において、近似的に最適な性能を達成する効率的なアルゴリズムを設計する。この際、適応的線形計画法（ALP）を用いて報酬の順序のみに依存する。
• 期待報酬が未知の状況に拡張するため、ALPアプローチをUCB手法と統合し、一般状況下で対数的レグレットを保証する。
• 未知のコンテキスト分布および非一様なコストを持つシステムへとフレームワークを一般化し、強いレグレットバウンドを維持する。
• 制約付きコンテキストバンディット問題において、初めて対数的レグレットの理論的保証を提供する。計算的に効率的なアルゴリズム設計の前進を図る。

提案手法

• 期待報酬の順序のみに依存して近似的に最適な性能を達成するため、オракル方策の近似として適応的線形計画法（ALP）を導入する。
• 未知の期待報酬を扱うために、ALPとUCB手法を統合し、レグレット保証を維持しながら探索を可能にする。
• 時間的・予算的制約下で、探索と活用の動的バランスを取るUCB-ALPアルゴリズムを設計する。
• 異なるコンテキストコストを考慮するため、ALP定式化を変更して非一様コストシステムへと拡張する。
• 信頼区間を用いて行動選択をガイドし、非最適行動が対数的回数しか探索されないことを保証する。
• コンテキスト列と制約違反の時間的結合性を分析することで、レグレットバウンドを証明する。

実験結果

リサーチクエスチョン

• RQ1 時間的・予算的制約を伴うコンテキストバンディット問題において、複雑な時間的結合性が存在する中で、対数的レグレットを達成できるか？
• RQ2 期待報酬が未知の状況において、高いレグレット性能を維持しつつ、効率的なアルゴリズムを設計する方法は何か？
• RQ3 ALP近似は、非一様コストおよび未知のコンテキスト分布を持つシステムへどの程度拡張可能か？
• RQ4 制約の結合性は、コンテキストバンディットにおける探索と活用のトレードオフにどのような影響を及ぼすか？
• RQ5 一般の制約付きコンテキストバンディット問題において、計算的に効率的でかつ対数的レグレットを達成するアルゴリズムを開発可能か？

主な発見

• UCB-ALPアルゴリズムは、コンテキスト分布が既知で、期待報酬が既知の状況下で、制約付きコンテキストバンディット問題において対数的レグレットを達成する。
• ALP手法は、期待報酬の順序のみに依存して近似的に最適な性能を達成し、計算複雑性を顕著に低減する。
• 提案されたフレームワークは、未知のコンテキスト分布および非一様コストを持つシステムへ一般化可能であり、対数的レグレットバウンドを維持する。
• 本研究は、制約付きコンテキストバンディット設定において、初めて対数的レグレットの理論的保証を確立する。
• 結果は、計算的に効率的でありながらも、強いレグレット性能を達成可能なアルゴリズムが、複雑な結合制約下でも実現可能であることを示している。
• 境界ケースでは対数的レグレットが成立しないが、これらは明確に特定され、主なレグレット解析から除外されている。