[論文レビュー] Analysis of Thompson Sampling for Combinatorial Multi-armed Bandit with Probabilistically Triggered Arms

Alihan Hüyük, Cem Tekin|arXiv (Cornell University)|Sep 7, 2018

Advanced Bandit Algorithms Research被引用数 8

ひとこと要約

この論文は、半バンドイットフィードバック下での確率的トリガー付き組合せ的マルチアームバンディット（CMAB-PTA）に対して、組合せ的トンプソンサンプリング（CTS）を分析する。期待報酬関数のリプシッツ連続性を仮定した下で、$O\left(\sum_{i=1}^{m}\frac{\log T}{p_i\Delta_i}\right)$ の順序最適なリグレットバウンドを確立する。ここで $p_i$ は最小非ゼロトリガープローブァビリティ、$\Delta_i$ は基本アーム $i$ の非最適性ギャップである。

ABSTRACT

We analyze the regret of combinatorial Thompson sampling (CTS) for the combinatorial multi-armed bandit with probabilistically triggered arms under the semi-bandit feedback setting. We assume that the learner has access to an exact optimization oracle but does not know the expected base arm outcomes beforehand. When the expected reward function is Lipschitz continuous in the expected base arm outcomes, we derive $O(\\sum_{i =1}^m \\log T / (p_i \\Delta_i))$ regret bound for CTS, where $m$ denotes the number of base arms, $p_i$ denotes the minimum non-zero triggering probability of base arm $i$ and $\\Delta_i$ denotes the minimum suboptimality gap of base arm $i$. We also compare CTS with combinatorial upper confidence bound (CUCB) via numerical experiments on a cascading bandit problem.

研究の動機と目的

• 組合せ的マルチアームバンディットに確率的トリガー付きアームを適用した場合の組合せ的トンプソンサンプリング（CTS）のリグレット性能を分析すること。
• 期待報酬関数が基本アームの結果に対してリプシッツ連続である場合に、CTSのリグレットバウンドを確立すること。単調性の仮定は行わない。
• 数値実験を通じて、CTSと組合せ的UCB（CUCB）のリグレット性能を比較すること。
• 既知のCMAB-PTAのリグレット下界と比較することで、導出されたリグレットバウンドがタイトであることを示すこと。
• この設定でサブ線形リグレットを達成するために、正確な最適化オракルが必要かどうかを調査すること。

提案手法

• スーパーアームを選択すると、基本アームが確率的にトリガーされ、観測可能なフィードバックはトリガーされたアームに限られるというCMAB-PTA問題をモデル化する。
• 期待される基本アームの結果が与えられたとき、最適なスーパーアームを返す正確な最適化オラクルへのアクセスを仮定する。
• 期待報酬関数が期待される基本アーム結果のベクトルに対してリプシッツ連続であると仮定する。
• CTSは、基本アーム結果の事後分布からサンプリングし、そのサンプル結果に基づいて期待報酬を最大化するスーパーアームを選択することで適用される。
• 集中不等式を用いた解析と、事後分布サンプリングによる非最適スーパーアーム選択確率のバウニングを通じて、リグレット解析を実施する。
• 各基本アーム $i$ のトリガープローブァビリティ $p_i$ が、観測頻度および学習速度に与える影響を解析に組み込む。

実験結果

リサーチクエスチョン

• RQ1 組合せ的マルチアームバンディットに確率的トリガー付きアームを適用した場合の組合せ的トンプソンサンプリング（CTS）のリグレット性能は何か？
• RQ2 期待報酬関数がリプシッツ連続である条件下で、CTSは順序最適なリグレットバウンドを達成できるか？
• RQ3 各基本アームの最小トリガープローブァビリティ $p_i$ は、CTSのリグレットバウンドにどのように影響するか？
• RQ4 異なるトリガーダイナミクスを持つ段階的バンディット問題において、CTSとCUCBのリグレット性能はどのように比較できるか？
• RQ5 一般のCMAB-PTA設定において、リグレットバウンドの $1/p_i$ 依存性は避けられないものか？

主な発見

• 論文は、CTSのリグレットバウンドを $O\left(\sum_{i=1}^{m}\frac{1}{p_i\Delta_i}\log T\right)$ として導出し、これは順序最適であり、CMAB-PTAの既知のリグレット下界と一致する。
• リグレットバウンドは $1/p_i$ に依存しており、$p_i$ は基本アーム $i$ の最小非ゼロトリガープローブァビリティである。これは、まれなトリガーイベントが学習を遅くすることを示している。
• 排他的段階的バンディット問題における数値実験では、CTSが探索の効率が高いため、CUCBを著しく上回ることが示された。
• 多数の良いアームの中に1つの悪いアームがある結合的段階的バンディット設定では、初期段階でCUCBがCTSを上回るが、事後分布サンプリングの精度が向上するにつれて、CTSがCUCBを追い抜く。
• 先行研究による一致する下界により、一般のCMAB-PTA設定では、リグレットバウンドの $1/p_i$ 項が避けられないことが示された。
• CTSは、正確な最適化オラクルへのアクセスがある場合にのみサブ線形リグレットを達成可能であり、近似オラクルでは無限大のリグレットが生じる。