[論文レビュー] Tighter Regret Bounds for Influence Maximization and Other Combinatorial Semi-Bandits with Probabilistically Triggered Arms.

Qinshi Wang, Wei Chen|arXiv (Cornell University)|Mar 5, 2017

Advanced Bandit Algorithms Research被引用数 3

ひとこと要約

この論文は、組合せ的マルチアームバンディット（CMAB-T）のレグレットバウンドにおける深刻な欠陥を解消し、トリガ確率に依存する（TPM）有界スムーズ性条件を導入することで、以前避けられなかった $1/p^*$ 因子を排除した。この手法により、インフルエンサー最大化とカスケードバンドイットの両方において、はるかにタイトなバウンドが達成され、理論的下界により $1/p^*$ 因子がこのような条件がないと避けられないことが確認された。

ABSTRACT

We study combinatorial multi-armed bandit with probabilistically triggered arms (CMAB-T) and semi-bandit feedback. We resolve a serious issue in the prior CMAB-T studies where the regret bounds contain a possibly exponentially large factor of $1/p^*$, where $p^*$ is the minimum positive probability that an arm is triggered by any action. We address this issue by introducing a triggering probability modulated (TPM) bounded smoothness condition into the general CMAB-T framework, and show that many applications such as influence maximization bandit and combinatorial cascading bandit satisfy this TPM condition. As a result, we completely remove the factor of $1/p^*$ from the regret bounds, achieving significantly better regret bounds for influence maximization and cascading bandits than before. Finally, we provide lower bound results showing that the factor $1/p^*$ is unavoidable for general CMAB-T problems, suggesting that the TPM condition is crucial in removing this factor.

研究の動機と目的

• 確率的にトリガーされるアームを伴う組合せ的マルチアームバンディット（CMAB-T）における、$1/p^*$ に指数的依存する既存のレグレットバウンドを是正すること。
• レグレットバウンドから $1/p^*$ 要因を除去できる条件を同定し、実用的応用におけるパフォーマンス向上を図ること。
• 一般のCMAB-T問題において $1/p^*$ 要因が避けられないことを示し、TPM条件のような構造的仮定の必要性を正当化すること。
• インフルエンサー最大化や組合せ的カスケードバンドイットといった重要な応用が、TPM条件を満たすことを示し、よりタイトなレグレット保証を可能にすること。

提案手法

• 一般のCMAB-Tフレームワークを精緻化するため、新しいトリガ確率に依存する（TPM）有界スムーズ性条件を導入する。
• インフルエンサー最大化バンドイットおよび組合せ的カスケードバンドイット問題において、TPM条件が成り立つことを示し、改善されたレグレット解析を可能にする。
• TPM条件の下で、従来の解析に見られる $1/p^*$ 要因を完全に排除したレグレットバウンドを導出する。
• 確率的トリガメカニズムを考慮した新しいスムーズネス解析を用い、よりタイトな集中限界を導出する。
• 一般のCMAB-T問題において $1/p^*$ 要因が避けられないことを示す下界を確立する。

実験結果

リサーチクエスチョン

• RQ1 CMAB-Tのレグレットバウンドにおける $1/p^*$ 要因は、妥当な仮定の下で排除可能か？
• RQ2 トリガメカニズムにどのような構造的条件が、$1/p^*$ 要因の排除を可能にするか？
• RQ3 インフルエンサー最大化やカスケードバンドイットといった実世界の応用は、提案されたTPM条件を満たすか？
• RQ4 一般のCMAB-Tにおいて $1/p^*$ 要因は本当に避けられないのか、それともより強い仮定によって回避可能か？

主な発見

• 提案されたTPM有界スムーズ性条件は、CMAB-Tのレグレットバウンドから $1/p^*$ 要因を効果的に排除し、はるかにタイトなパフォーマンス保証を実現した。
• インフルエンサー最大化バンドイットおよび組合せ的カスケードバンドイット問題は、すべてTPM条件を満たしており、$1/p^*$ ペナルティなしに改善されたレグレットバウンドが得られた。
• この論文は、一般のCMAB-T問題において $1/p^*$ 要因が避けられないことを示す下界を確立し、TPM条件の必要性を裏付けた。
• 新しいレグレットバウンドは、従来の結果よりも厳密に優れており、特に $p^*$ が小さい設定では、従来のバウンドが著しく緩すぎることを示した。