[論文レビュー] An efficient algorithm for contextual bandits with knapsacks, and an extension to concave objectives

Shipra Agrawal, Nikhil R. Devanur+1 more|arXiv (Cornell University)|Jun 10, 2015

Advanced Bandit Algorithms Research参考文献 26被引用数 25

ひとこと要約

本稿では、グローバルリソース制約を扱える文脈的バンディット（CBwK）の計算的に効率的なアルゴリズムを提示する。Agarwalら（2014）の手法を拡張し、ポリシー空間サイズの対数の平方根に比例する実行時間で最適なレグレットバウンドを達成する。これは、Badanidiyuruら（2014）が提起した未解決問題を解消する。また、リソース消費ベクトルの上での任意の凸関数を扱う一般化も可能である。

ABSTRACT

We consider a contextual version of multi-armed bandit problem with global knapsack constraints. In each round, the outcome of pulling an arm is a scalar reward and a resource consumption vector, both dependent on the context, and the global knapsack constraints require the total consumption for each resource to be below some pre-fixed budget. The learning agent competes with an arbitrary set of context-dependent policies. This problem was introduced by Badanidiyuru et al. (2014), who gave a computationally inefficient algorithm with near-optimal regret bounds for it. We give a computationally efficient algorithm for this problem with slightly better regret bounds, by generalizing the approach of Agarwal et al. (2014) for the non-constrained version of the problem. The computational time of our algorithm scales logarithmically in the size of the policy space. This answers the main open question of Badanidiyuru et al. (2014). We also extend our results to a variant where there are no knapsack constraints but the objective is an arbitrary Lipschitz concave function of the sum of outcome vectors.

研究の動機と目的

• 文脈的バンディットとリソース制約（CBwK）の先行アルゴリズムは、理論的には最適であったが、オракル呼び出しの複雑さが高く、実用的でなかったという計算上の非効率性を解消する。
• Badanidiyuruら（2014）が提起した、CBwKにおいて計算効率性を維持しながら近似的に最適なレグレットを達成するという未解決問題を解決する。
• ポリシー空間の合計リソース消費ベクトルの任意の凸関数を扱うフレームワークへの拡張を実現し、線形目的関数に限らない一般化を達成する。
• 明示的なポリシー列挙を避けて、arg-maxオラクルに依存することで、ポリシー空間が大きい場合でもアルゴリズムの効率性を保証する。
• 滑らかさと有界性に関する現実的な仮定の下で、ポリシー数および時間枠に応じて良好にスケーリングする理論的レグレットバウンドを提供する。

提案手法

• Agarwal ら（2014）の滑らかな射影と信頼区間更新メカニズムを、d次元のリソース消費を伴う制約付きCBwK設定に適応する。
• 信頼区間を段階的に拡大するエポックの系列を用い、探索と活用のバランスを取るためにポリシー上の滑らかな分布から行動を選択する。
• 各エポックにおけるポリシー分布を、文脈依存ポリシーの凸結合と一様ベースラインの組み合わせとして表現し、arg-maxオラクルによる計算の効率化を実現する。
• Azuma-Hoeffding不等式を用いて、時間ステップ間で経験的リソース消費および報酬ベクトルと期待値との乖離を制限する。
• 凸目的関数のリプシッツ連続性と滑らかさを活用し、目的関数値のレグレットを平均リソース消費および報酬ベクトルの乖離に関連付ける。
• 濃度不等式とエポックベースのアルゴリズムの構造を組み合わせて、ポリシー空間サイズに対して対数的依存性を持つレグレットバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 計算的に効率的でありながら、近似的に最適なレグレットバウンドを維持できる文脈的バンディットとリソース制約（CBwK）のアルゴリズムを設計可能か？
• RQ2 ポリシーを明示的に列挙せずに、ポリシー空間が大きい場合のレグレットスケーリングをどのように改善できるか？
• RQ3 フレームワークを線形目的関数から、合計リソース消費の任意の凸関数に拡張可能か？
• RQ4 任意のポリシー集合を持つ文脈的バンディット設定において、リソース制約が収束速度とレグレットに与える影響は何か？
• RQ5 全ポリシー列挙ではなくarg-maxオラクルを用いることで、計算効率と理論的保証にどのような影響を与えるか？

主な発見

• 提案アルゴリズムは、平均レグレットバウンド $ O\big(\nolimits\big\| \mathbf{1}_d \big\| L \left(\sqrt{\frac{K}{T}\ln\frac{T|\Pi|}{\delta}} + \sqrt{\frac{1}{T}\ln\frac{d}{\delta}}\right)\big) $ を達成し、対数要因を除いて最適である。
• 計算コストは $ \sqrt{\log |\Pi|} $ に比例する。ここで $ |\Pi| $ はポリシー空間のサイズであり、大きなポリシー集合に対しても効率的である。
• アルゴリズムは計算的に実行可能でありながら近似的に最適なレグレットを維持し、Badanidiyuru ら（2014）の未解決問題を解消する。
• レグレットバウンドは $ T \geq K\ln(T|\Pi|/\delta) $ の仮定の下で成り立ち、主要な項が意味を持つことを保証する。
• 凸目的関数の滑らかさと凸性を活用することで、期待性能の乖離を制御し、目的関数への一般化を達成する。
• 分析により、経験的および期待的結果の乖離が濃度不等式によってきびしく制御されており、強い高確率レグレット保証が得られる。