[論文レビュー] Contextual Combinatorial Bandits with Probabilistically Triggered Arms

Xutong Liu, Jinhang Zuo+5 more|arXiv (Cornell University)|Mar 30, 2023

Advanced Bandit Algorithms ResearchDecision Sciences被引用数 3

ひとこと要約

本稿は、確率的アームトリガーを伴う文脈的組み合わせバンディット（C²MAB-T）を導入し、滑らかさ条件の下でレグレット最小化を実現するためのC²-UCB-TおよびVAC²-UCBアルゴリズムを提案する。トリガ確率モジュレート（TPM）条件下では$\tilde{O}(d\sqrt{KT})$のレグレットバウンドを達成し、分散モジュレート（VM）またはTPVM条件下では$\tilde{O}(d\sqrt{T})$の改善されたバウンドを達成する。$K$および$1/p_{\min}$に依存しないことを実現し、合成データおよび実世界データを用いた実験的検証も実施する。

ABSTRACT

We study contextual combinatorial bandits with probabilistically triggered arms (C$^2$MAB-T) under a variety of smoothness conditions that capture a wide range of applications, such as contextual cascading bandits and contextual influence maximization bandits. Under the triggering probability modulated (TPM) condition, we devise the C$^2$-UCB-T algorithm and propose a novel analysis that achieves an $ ilde{O}(d\sqrt{KT})$ regret bound, removing a potentially exponentially large factor $O(1/p_{\min})$, where $d$ is the dimension of contexts, $p_{\min}$ is the minimum positive probability that any arm can be triggered, and batch-size $K$ is the maximum number of arms that can be triggered per round. Under the variance modulated (VM) or triggering probability and variance modulated (TPVM) conditions, we propose a new variance-adaptive algorithm VAC$^2$-UCB and derive a regret bound $ ilde{O}(d\sqrt{T})$, which is independent of the batch-size $K$. As a valuable by-product, our analysis technique and variance-adaptive algorithm can be applied to the CMAB-T and C$^2$MAB setting, improving existing results there as well. We also include experiments that demonstrate the improved performance of our algorithms compared with benchmark algorithms on synthetic and real-world datasets.

研究の動機と目的

• カスケードバンドイットやインフルエンスマキマイゼーションを含む多様な応用をモデル化できる、文脈的組み合わせバンディットに確率的アームトリガーを組み合わせた一般化されたフレームワーク（C²MAB-T）を形式化すること。
• 従来の研究が決定的フィードバックを仮定するか、$1/p_{\min}$や$K$に依存する非最適なレグレットバウンドを示すという限界を是正すること。
• 分散モodulationといった現実的な滑らかさ条件の下で、$K$に依存しないレグレットバウンドを達成するアルゴリズムの開発。
• 従来の結果に見られる$O(1/p_{\min})$要因を排除する洗練された解析により、スケーラビリティとパフォーマンスの両方を向上させること。

提案手法

• トリガ確率モジュレート（TPM）条件下で、$\tilde{O}(d\sqrt{KT})$のレグレットバウンドを達成するための新規解析を用いたC²-UCB-Tアルゴリズムを提案。$1/p_{\min}$要因を含まずに実現。
• 分散モジュレート（VM）またはトリガ確率および分散モジュレート（TPVM）条件下で、分散に適応するVAC²-UCBアルゴリズムを導入。$K$に依存しない$\tilde{O}(d\sqrt{T})$のレグレットバウンドを達成。
• アームの結果の分散に適応する新たな信頼区間設計を採用。よりタイトなレグレット解析を可能にする。
• 文脈的情報をモデル化するための時変型特徴写像$\bm{\phi}_t$を用い、$\theta^*$における線形平均報酬を仮定。スケーラビリティを確保。
• 半バンドイット、カスケード、確率的フィードバックを含む一般化されたフィードバックモデルを実現するため、確率的アームトリガー過程を適用。
• 報酬関数の滑らかさ条件を活用し、期待報酬ギャップとアームの選択回数の分析を洗練させることで、レグレットバウンドを導出。

実験結果

リサーチクエスチョン

• RQ1 カスケードバンドイットやインフルエンスマキマイゼーションといった既存モデルを一般化しつつ、スケーラビリティを維持できる文脈的組み合わせバンディットフレームワークを設計可能か？
• RQ2 現実的な滑らかさ仮定の下でも、バッチサイズ$K$および最小トリガ確率$p_{\min}$に依存しないレグレットバウンドを達成することは可能か？
• RQ3 従来の慎重な探索戦略に比べ、確率的アームトリガーを伴う設定において、分散に適応するアルゴリズムがレグレットパフォーマンスを向上させられるか？
• RQ4 提案された解析手法は、従来の組み合わせバンディット手法で問題視されていた$O(1/p_{\min})$要因をどのように排除するか？
• RQ5 新規なアルゴリズム的および解析的フレームワークは、CMAB-TおよびC²MABの既存結果をどの程度改善できるか？

主な発見

• C²-UCB-TアルゴリズムはTPM条件下で$\tilde{O}(d\sqrt{KT})$のレグレットバウンドを達成し、従来の研究に見られた$O(1/p_{\min})$要因を排除した。
• VAC²-UCBアルゴリズムはVMまたはTPVM条件下で$\tilde{O}(d\sqrt{T})$のレグレットバウンドを達成し、バッチサイズ$K$に依存しない。
• 解析手法および分散に適応する設計は、CMAB-TおよびC²MABにも応用可能であり、これらの設定における既存のレグレットバウンドを改善する。
• 合成データおよび実世界データを用いた実験的結果により、提案手法がベンチマーク手法を上回る優れたパフォーマンスを示した。
• 期待報酬ギャップのよりタイトな解析と、分散に比例してスケーリングする適応的信頼区間により、改善されたレグレットバウンドが達成された。
• 文脈的カスケードバンドイットやインフルエンスマキマイゼーションバンドイットといった応用へも成功裏に一般化され、保証付きの性能が得られた。