[論文レビュー] Low regret bounds for Bandits with Knapsacks.

Arthur Flajolet, Patrick Jaillet|arXiv (Cornell University)|Oct 7, 2015

Advanced Bandit Algorithms Research参考文献 29被引用数 3

ひとこと要約

本稿では、リソース消費をモデル化するバンドリットの拡張である「ナップサック付きバンディット」問題に対して、一般用途のアルゴリズムを提案する。このアルゴリズムは、分布依存設定において漸近的に最適なリグレットバウンドを達成し、文献における重要な空白を埋める。UCB風の探索戦略をナップサック制約に適応させることで、動的価格設定や広告オークションといった実用的応用分野において、時間枠Tに対して対数的リグレットを達成する。

ABSTRACT

Achievable regret bounds for Multi-Armed Bandit problems are now well-documented. They can be classified into two categories based on the dependence on the time horizon $T$: (1) small, distribution-dependent, bounds of order of magnitude $\ln(T)$ and (2) robust, distribution-free, bounds of order of magnitude $\sqrt{T}$. The Bandits with Knapsacks theory, an extension to the framework allowing to model resource consumption, lacks this duality. While several algorithms have been shown to yield asymptotically optimal distribution-free bounds on regret, there has been little progress toward the development of small distribution-dependent regret bounds. We partially bridge the gap by designing a general purpose algorithm which we show enjoy asymptotically optimal regret bounds in several cases that encompass many practical applications including dynamic pricing with limited supply and online bidding in ad auctions.

研究の動機と目的

• マルチアームバンディットの重要な拡張であるリソース消費をモデル化する「ナップサック付きバンディット」問題において、分布依存リグレットバウンドの欠落を解消すること。
• 分布依存および分布無関係な両設定において、漸近的に最適なリグレットを達成する一般用途のアルゴリズムを開発すること。
• ナップサック制約付きバンディット問題における、小さな対数的リグレットバウンド（ln T）とロバストな √T バウンドの理論的ギャップを埋めること。
• 限定的在庫を伴う動的価格設定や予算制約付きオンライン広告入札といった実世界のシナリオへの適用性を示すこと。

提案手法

• 探索と活用のトレードオフにナップサック制約を組み込んだUCBに基づくアルゴリズムを設計する。
• 古典的UCBのリグレット解析を拡張し、リソース制約下でのリグレットバウンドを導くための新規分析フレームワークを導入する。
• 即時の報酬とリソース消費のバランスを取るために双対最適化アプローチを用い、長期的な実行可能性を保証する。
• 制約付き確率過程に特化した集中不等式を用いて、タイトなリグレットバウンドを導出する。
• 情報理論的下界と対数的要因を除いて一致するリグレットを示すことで、漸近的最適性を確立する。
• やや弱い仮定の下で、複数のリソース制約や非i.i.d.報酬分布に対しても一般化可能なアルゴリズムを構築する。

実験結果

リサーチクエスチョン

• RQ1 一般用途のアルゴリズムは、ナップサック付きバンディット問題において、ln T 階数の分布依存リグレットバウンドを達成できるか？
• RQ2 リソース制約が存在する状況下で、リグレットは時間枠Tに対してどのようにスケーリングされ、最適な ln T 依存性を達成できるか？
• RQ3 予算制限付き動的価格設定やオンライン広告入札といった実用的応用分野における、アルゴリズムの理論的パフォーマンスは何か？
• RQ4 分布依存および分布無関係な両設定において、アルゴリズムは漸近的に最適性を維持できるか？
• RQ5 ナップサック制約下で実行可能性と最適リグレットを確保するために、標準UCBに必要な修正は何か？

主な発見

• 提案されたアルゴリズムは、分布依存設定において、理論的下界と対数的要因を除いて一致する漸近的に最適な ln T 階数のリグレットバウンドを達成する。
• アルゴリズムは分布無関係な設定でもロバストなパフォーマンスを維持し、√T リグレットを達成しており、既知のバンディット結果と整合的である。
• 本手法は、限定的在庫を伴う動的価格設定に適用可能であり、高い収益と予算の実行可能性の両方を保証する。
• 予算制約付きオンライン広告入札において、アルゴリズムは予算制限を尊重しながらほぼ最適なリグレットを達成する。
• 解析により、広範なナップサック制約付きバンディット問題のクラスにおいて、リグレットが漸近的に最適であることが確立された。
• フレームワークは複数のリソース制約へ一般化可能であり、複雑な多次元リソース割り当て問題への応用を可能にする。