[論文レビュー] Improving Regret Bounds for Combinatorial Semi-Bandits with Probabilistically Triggered Arms and Its Applications

Qinshi Wang, Wei Chen|arXiv (Cornell University)|Mar 5, 2017

Advanced Bandit Algorithms Research被引用数 35

ひとこと要約

本稿では、確率的トリガーを持つ組み合わせ的マルチアームバンディット（CMAB-T）を、古典的マルチアームバンディット（MAB）に変換する新しい還元フレームワークを提案する。この手法により、よりタイトなレグレットバウンドが得られる。確率的トリガーとチェルノフ不等式を活用することで、MABにおける任意の下界が、CMAB-Tにおいては $ p^{-1} $ 倍にスケーリングされた対応する下界に転送されることを示した。ここで $ p $ はトリガー確率を表す。

ABSTRACT

We study combinatorial multi-armed bandit with probabilistically triggered arms (CMAB-T) and semi-bandit feedback. We resolve a serious issue in the prior CMAB-T studies where the regret bounds contain a possibly exponentially large factor of $1/p^*$, where $p^*$ is the minimum positive probability that an arm is triggered by any action. We address this issue by introducing a triggering probability modulated (TPM) bounded smoothness condition into the general CMAB-T framework, and show that many applications such as influence maximization bandit and combinatorial cascading bandit satisfy this TPM condition. As a result, we completely remove the factor of $1/p^*$ from the regret bounds, achieving significantly better regret bounds for influence maximization and cascading bandits than before. Finally, we provide lower bound results showing that the factor $1/p^*$ is unavoidable for general CMAB-T problems, suggesting that the TPM condition is crucial in removing this factor.

研究の動機と目的

• 確率的トリガーを持つ組み合わせ的マルチアームバンディット（CMAB-T）から古典的マルチアームバンディット（MAB）への形式的な還元を確立すること。
• 既知のMABにおけるレグレット下界をCMAB-Tに転送し、CMAB-T設定におけるより良い解析を可能にすること。
• 特に1ラウンドあたりのアームの一部のみが活性化される状況において、確率的トリガーがレグレットに与える影響を分析すること。
• MABとCMAB-Tにおけるレグレットの定量的関係を導出し、CMAB-Tのレグレットが $ \frac{1}{2}p^{-1}L(\frac{1}{2}pT_{\text{CMAB}}) $ 以上であることを示すこと。ここで $ L $ はMABのレグレット下界を表す。
• 特定の条件下で、ギャップ $ \Delta \geq M $ の劣悪な行動を選択する確率が $ O(t^{-2}) $ に抑えられ、期待レグレットが有限になることを証明すること。

提案手法

• MABとCMAB-Tの両方のインスタンスを並列に実行する還元アルゴリズム（Algorithm LABEL:alg:reduction）を提案。各ラウンド $ t $ において、基本アームがトリガーされたかどうかを示すベルヌーイ指標 $ \gamma_t $ を用いる。
• 乗法的チェルノフ不等式を用いて、$ pT_{\text{CMAB}} \geq 6 $ のとき、有効なMABラウンド数 $ T_{\text{MAB}} $ が $ \frac{1}{2}pT_{\text{CMAB}} $ 以上である確率が $ \frac{1}{2} $ 以上であることを示す。
• 環境インスタンスの分布 $ \mathcal{D} $ を定義し、還元のもとでMABとCMAB-Tにおける期待レグレットの関係を $ \mathbb{E}[\text{Reg}_{\text{CMAB}}] = p^{-1} \mathbb{E}[\text{Reg}_{\text{MAB}}] $ という恒等式で記述する。
• 報酬関数の有界な滑らかさ（条件6）と $ \infty $-ノルムの性質を用いて、推定報酬と真の報酬の差を制御する。
• 推定誤差を制御し、レグレットの高確率バウンドを導出するために、'よい'サンプリングおよびトリガー事象（$ \mathcal{N}^\text{s}_t $, $ \mathcal{N}^\text{t}_t $）を導入する。
• 集中不等式と信頼区間の対数スケーリングを用いて、劣悪な行動が選択される回数をバウンドする。特に $ N_{i,q_i,t-1} \geq \ell_T(\Delta, q_i) $ の場合に注目する。

実験結果

リサーチクエスチョン

• RQ1 古典的MABにおけるレグレットバウンドを、確率的トリガーを持つより複雑なCMAB-T設定にどのように転送できるか？
• RQ2 既知のMABレグレット下界が与えられたもとで、トリガー確率 $ p $ とCMAB-Tにおけるレグレットの関係は何か？
• RQ3 ギャップ $ \Delta \geq M $ の劣悪な行動を選択する確率を有限の期待レグレットを保証するために、どのような条件下でバウンドできるか？
• RQ4 還元フレームワークは、CMAB-Tにおけるアームの確率的トリガーを考慮しつつ、MABのレグレット構造を保持できるか？
• RQ5 報酬関数の滑らかさは、推定誤差を制御し、最適な行動選択への収束を保証するために果たす役割は何か？

主な発見

• $ pT_{\text{CMAB}} \geq 6 $ の条件下で、期待MABラウンド数 $ T_{\text{MAB}} $ は確率 $ \frac{1}{2} $ 以上で $ \frac{1}{2}pT_{\text{CMAB}} $ 以上である。
• 任意のCMAB-Tアルゴリズム $ A $ に対して、期待レグレットは $ \mathbb{E}_{D \sim \mathcal{D}}[\text{Reg}_{\text{CMAB},D}^A(T_{\text{CMAB}})] \geq \frac{1}{2}p^{-1}L(\frac{1}{2}pT_{\text{CMAB}}) $ を満たす。ここで $ L $ はMABのレグレット下界を表す。
• ギャップ $ \Delta_{S_t} \geq M $ で、かつ $ S_t $ のすべてのアームが十分にプルされているような劣悪な行動 $ S_t $ を選択する確率は $ (2 + j_{\max}(M))mt^{-2} $ に抑えられ、これは和が収束する。
• ギャップ $ \Delta_{S_t} \geq M $ の行動に起因する総レグレットは $ m \cdot (\lceil -\log_2 f^{-1}(M) \rceil_0 + 2) \cdot \frac{\pi^2}{6} \cdot \Delta_{\max} $ に抑えられ、これは有限で $ T $ に依存しない。
• 還元により、同じ環境分布のもとでCMAB-TのレグレットはMABのレグレットの少なくとも $ p^{-1} $ 倍であることが保証され、下界のタイトな転送が確立された。
• 『よい』サンプリングおよびトリガー条件の下で、高ギャップの劣悪な行動が選択される確率は無視できるほど小さく、最適な行動選択への収束が保証された。