[論文レビュー] Combinatorial Semi-Bandits with Knapsacks

Karthik Abinav Sankararaman, Aleksandrs Slivkins|arXiv (Cornell University)|May 23, 2017

Advanced Bandit Algorithms Research参考文献 38被引用数 14

ひとこと要約

本稿では、バンディットとナップサック、および組み合わせ的セミバンディットを統合した統一的フレームワーク「組み合わせ的セミバンディット・ナップサック（SemiBwK）」を提案する。このフレームワークにより、リソース制約下での効率的な学習と組み合わせ的行動集合の取り扱いが可能になる。提案手法は、BwKおよび組み合わせ的セミバンディットの両分野で最先端の結果と同等のレグレットバウンドを達成しており、マトロイド制約下ではアトム数に対してほぼ線形時間計算量を実現する。

ABSTRACT

We unify two prominent lines of work on multi-armed bandits: bandits with knapsacks (BwK) and combinatorial semi-bandits. The former concerns limited "resources" consumed by the algorithm, e.g., limited supply in dynamic pricing. The latter allows a huge number of actions but assumes combinatorial structure and additional feedback to make the problem tractable. We define a common generalization, support it with several motivating examples, and design an algorithm for it. Our regret bounds are comparable with those for BwK and combinatorial semi- bandits.

研究の動機と目的

• 組み合わせ的行動集合とリソース制約の両方を扱う2大バンディット枠組み、すなわちバンディット・ナップサック（BwK）と組み合わせ的セミバンディットを統合すること。
• 組み合わせ的行動、部分的フィードバック、限定的リソース予算を有する状況をモデル化する共通の一般化形態「組み合わせ的セミバンディット・ナップサック（SemiBwK）」を定義すること。
• BwKおよび組み合わせ的セミバンディットの両分野で最もよく知られた結果と同等のレグレットバウンドを達成する効率的アルゴリズムを設計すること。
• 動的価格設定、動的アソートメント、繰り返しオークションの実験的評価を通じて、多様な応用設定において優れた性能を示す。

提案手法

• マトロイド制約下で妥当なアトム部分集合を選択するために、BwKにインspiredされた楽観的線形計画緩和と、組み合わせ最適化における確率的ラウンド化技術を統合する。
• 不確実性下での楽観主義を用いて、探索と活用のバランスを保ち、各アトムの報酬とリソース消費量の上界信頼区間を維持する。
• 各ラウンドで結果がi.i.d.であると仮定し、アトムおよびリソース間で任意の相関関係を許容する。報酬と消費量は[0,1]に限定される。
• 妥当な行動集合をモデル化するためにマトロイド制約を活用し、基数制約、分割制約、スパニングツリー制約を一般化する。
• linCBwKベースラインのためのヒューリスティックを採用し、楽観的パラメータのサンプリングベース推定を高速化する。1ラウンドあたり30個の多変量正規分布サンプルを用いる。
• 各ラウンドで多項式時間で実行可能であり、重要な特殊ケースではアトム数に対してほぼ線形の計算量を達成する。

実験結果

リサーチクエスチョン

• RQ1 バンディット学習において、組み合わせ的行動集合とリソース制約の両方を同時に扱える統一的フレームワークを開発できるか？
• RQ2 この一般化された設定で達成可能なレグレットバウンドは何か？ また、既存のBwKおよび組み合わせ的セミバンディットの結果と比べてどうなるか？
• RQ3 アトム数の増加に伴いスケーラブルであり、かつ低いレグレットを維持できるSemiBwK用の効率的アルゴリズムをどのように設計できるか？
• RQ4 動的価格設定やアソートメントといった実応用において、理論的なレグレットバウンドはどの程度実現可能か？

主な発見

• アルゴリズムは Õ(√n)(OPT/√B + √(T + OPT)) のレグレットバウンドを達成し、BwKおよび組み合わせ的セミバンディットの両分野で最適な形式と一致する。
• BwKの特殊ケース（行動が単一のアトムからなる）では、レグレットは Õ(T√(n/B) + √(nT)) となり、Badanidiyuruら（2013a）の下界と一致する。
• 1行動あたり最大k個のアトムを含む組み合わせ的セミバンディットでは、レグレットバウンドは Õ(√(knT)) となり、Kveton ら（2014）の Ω(√(knT)) の下界と一致する。
• 実験的評価では、動的価格設定およびアソートメントタスクにおいて、提案手法が競合他手法を上回り、全テスト設定で最良のレグレットを達成した。
• 1ステップあたりの実行時間はnに関して多項式的であり、マトロイド制約付きのケースではほぼ線形である。実験結果からスケーラビリティと効率性が裏付けられた。
• linCBwKにはMATLAB、他の実装にはPythonを用いたのは、特に行列演算に強い言語の性能差を考慮した正当な選択である。