[論文レビュー] Linear Contextual Bandits with Knapsacks

Shipra Agrawal, Nikhil R. Devanur|arXiv (Cornell University)|Jul 24, 2015

Advanced Bandit Algorithms Research被引用数 35

ひとこと要約

本稿では、報酬およびリソース消費が文脈特徴に線形に依存する、ナップサック制約付き線形文脈バンディットフレームワークを導入する。報酬と資源消費の線形性を活用し、信頼楕円体と予算制約下での適応的ポリシー推定を用いることで、$ tilde{O}\left(\left(\frac{\text{OPT}}{B}+1\right)m\sqrt{T}\right)$ の近似的最適なレグレットバウンドを達成するアルゴリズムを提案する。

ABSTRACT

We consider the linear contextual bandit problem with resource consumption, in addition to reward generation. In each round, the outcome of pulling an arm is a reward as well as a vector of resource consumptions. The expected values of these outcomes depend linearly on the context of that arm. The budget/capacity constraints require that the total consumption doesn't exceed the budget for each resource. The objective is once again to maximize the total reward. This problem turns out to be a common generalization of classic linear contextual bandits (linContextual), bandits with knapsacks (BwK), and the online stochastic packing problem (OSPP). We present algorithms with near-optimal regret bounds for this problem. Our bounds compare favorably to results on the unstructured version of the problem where the relation between the contexts and the outcomes could be arbitrary, but the algorithm only competes against a fixed set of policies accessible through an optimization oracle. We combine techniques from the work on linContextual, BwK, and OSPP in a nontrivial manner while also tackling new difficulties that are not present in any of these special cases.

研究の動機と目的

• 複数のリソース制約下での線形文脈バンディット設定におけるオンライン意思決定の課題に取り組む。
• 報酬と消費の線形依存性を文脈ベクトルに組み込むことで、古典的な線形文脈バンディットおよびナップサック付きバンディットを一般化する。
• NP困難な最適化問題のオракルアクセスを必要とせず、近的最適なレグレットを達成するアルゴリズムを開発する。
• 予算制約下でも性能保証を確保しながら、高次元のアーム空間においてもスケーラビリティを維持する。
• アーム数 $K$ に依存しないレグレットバウンドを提供することで、オンライン広告やレコメンデーションシステムなどの大規模応用に適する。

提案手法

• 未知のパrameter $\mu_*$ および $W_*$ を用いて、期待報酬および消費ベクトルを文脈ベクトルの線形関数としてモデル化する。
• 推定パrameter $\hat{\mu}_t$ および $\hat{W}_t$ の周囲に信頼楕円体を維持し、パrameter推定の不確実性を定量化する。
• 推定誤差とポリシーのずれを組み合わせて、パrameter推定誤差とポリシーのずれのコーシー・シュワルツ型バウンドを導出する。
• 推定誤差をバウンドし、安定性を確保するため、最適ポリシー値 $\hat{\text{OPT}}^{2\gamma}$ のしきい値付き推定を導入する。
• 2段階アプローチを適用：初期の探索フェーズ（$T_0$ ラウンド）の後、不確実性が低減された状態でのポリシー最適化フェーズに移行する。
• 集中不等式とパrameter推定誤差およびポリシーのずれに関するコーシー・シュワルツ型バウンドを組み合わせることで、レグレットバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 NP困難な最適化問題のオラクルアクセスを必要とせずに、複数のリソース制約下での線形文脈バンディットで近的最適なレグレットを達成できるか？
• RQ2 報酬と消費の線形構造を活用することで、アーム数 $K$ に依存するレグレットの依存性をどのように低減できるか？
• RQ3 確率的線形バンディット設定において、予算制約下での探索と活用の最適なトレードオフは何か？
• RQ4 信頼楕円体を用いて探索をガイドしながら、累積消費を予算内に保てるか？
• RQ5 この問題クラスにおける最もタイトなレグレットバウンドは何か？また、$T$、$B$、$m$ に対してどのようにスケーリングされるか？

主な発見

• 条件 $B > mT^{3/4}$ および $T_0 = \sqrt{T}$ の下で、提案アルゴリズムは高確率でレグレットバウンド $\tilde{O}\left(\left(\frac{\text{OPT}}{B}+1\right)m\sqrt{T}\right)$ を達成する。
• レグレットバウンドはアーム数 $K$ に依存しないため、オンライン広告やレコメンデーションシステムなどの大規模応用に適している。
• 高確率で、$B \geq \gamma$ のとき、推定最適ポリシー値 $\hat{\text{OPT}}^{2\gamma}$ が真の $\text{OPT}$ の定数倍の範囲内に収束する。
• 信頼楕円体と不確実性を考慮した探索の最大化により、$\mu_*$ および $W_*$ の推定誤差が効果的に低減される。
• 分析により、推定値と真のポリシー値の累積ずれが $O\left(m\sqrt{T_0 \ln(T_0) \ln(T_0 d / \delta)}\right)$ でバウンドされることを示し、これはレグレット制御にとって重要である。
• 従来の非構造的アプローチとは異なり、NP困難な問題の最適化オラクルに依存しないため、実世界の環境での実用的導入が可能である。