[論文レビュー] Combinatorial Multi-Armed Bandit and Its Extension to Probabilistically Triggered Arms

Wei Chen, Yajun Wang+2 more|arXiv (Cornell University)|Jul 31, 2014

Advanced Bandit Algorithms Research参考文献 37被引用数 123

ひとこと要約

本稿は、非線形報酬設定（例：ソーシャルインフルエンス最大化やオンライン広告）における応用を可能にする、確率的にトリガーされるアームを含む一般化された組合せ的マルチアームバンディット（CMAB）フレームワークを導入する。CUCBアルゴリズムを提案し、分布依存のリグレットがO(log n)であり、先行研究より tighter な境界を達成する。境界は有界な滑らかさと(α,β)-近似オракルの下で理論的保証を有する。

ABSTRACT

We define a general framework for a large class of combinatorial multi-armed bandit (CMAB) problems, where subsets of base arms with unknown distributions form super arms. In each round, a super arm is played and the base arms contained in the super arm are played and their outcomes are observed. We further consider the extension in which more based arms could be probabilistically triggered based on the outcomes of already triggered arms. The reward of the super arm depends on the outcomes of all played arms, and it only needs to satisfy two mild assumptions, which allow a large class of nonlinear reward instances. We assume the availability of an offline (α,β)-approximation oracle that takes the means of the outcome distributions of arms and outputs a super arm that with probability β generates an α fraction of the optimal expected reward. The objective of an online learning algorithm for CMAB is to minimize (α,β)-approximation regret, which is the difference between the αβ fraction of the expected reward when always playing the optimal super arm, and the expected reward of playing super arms according to the algorithm. We provide CUCB algorithm that achieves O(log n) distribution-dependent regret, where n is the number of rounds played, and we further provide distribution-independent bounds for a large class of reward functions. Our regret analysis is tight in that it matches the bound of UCB1 algorithm (up to a constant factor) for the classical MAB problem, and it significantly improves the regret bound in a earlier paper on combinatorial bandits with linear rewards. We apply our CMAB framework to two new applications, probabilistic maximum coverage and social influence maximization, both having nonlinear reward structures. In particular, application to social influence maximization requires our extension on probabilistically triggered arms.

研究の動機と目的

• 非線形報酬関数を有する組合せ的アームを扱う一般化されたCMABフレームワークを形式化すること。
• 1つのアームをプレイすることで他のアームが確率的に活性化される「確率的にトリガーされるアーム」を含むCMABへの拡張。
• 限られたフィードバック下で(α,β)-近似リグレットを最小化するオンライン学習アルゴリズム（CUCB）の設計。
• この拡張されたフレームワークに対して、分布依存および分布独立の両方のタイトなリグレット境界の提供。
• 実世界の問題への応用：オンライン広告における確率的最大被覆問題およびソーシャルネットワークにおけるインフルエンス最大化。

提案手法

• スーパーアームが基本アームの部分集合であるCMABフレームワークを提案。報酬は非線形かつ有界滑らか関数に従い、すべてのプレイされたアームの結果に依存する。
• 一部のアームの結果が他のアームに確率的に影響を与える「確率的にトリガーされるアーム」の概念を導入。これはウイルバルマーケティングの文脈で現れる。
• 期待報酬が与えられたとき、最適期待報酬のαβ倍以上の報酬を得るスーパーアームを確率βで返す(α,β)-近似オーケストラルを採用。
• アーム平均の信頼区間を用いて、探索と活用のバランスを取るCUCB（組合せ的上界信頼区間）アルゴリズムを設計。
• 信頼区間と報酬関数の滑らかさの解析を通じて、分布依存リグレット境界がO(log n)であることを導出。
• 滑らかさ関数f(x)の逆関数を用いて、分布独立リグレット境界を確立。|V|、|E|、およびp_minに明示的な依存関係を示す。

実験結果

リサーチクエスチョン

• RQ1 一般化されたCMABフレームワークを、確率的にトリガーされるアームを扱えるように拡張できるか。また、その際、タイトなリグレット境界を維持できるか。
• RQ2 非線形かつ有界滑らか報酬関数の下で、CUCBアルゴリズムがO(log n)の分布依存リグレットを達成するメカニズムは何か。
• RQ3 計算の難易度を伴う組合せ的バンディット設定において、(α,β)-近似オーケストラルのリグレット性能に与える影響は何か。
• RQ4 特にインフルエンス最大化において、確率的にトリガーされるアームの文脈で1/p_iに依存するリグレット境界は必須か。
• RQ5 f(x) = γx^ω（ω < 1）のような特定の報酬関数に対して、理論的境界をさらにタイトに改善できるか。

主な発見

• CUCBアルゴリズムは、古典的MABのUCB1と同程度の漸近的境界（定数倍を除く）を達成するO(log n)の分布依存リグレットを実現する。
• インフルエンス最大化の文脈では、各アームについて分布依存リグレット境界はO(|V|²|E|² log n / Δ_min² p_i)であり、さらにO(|E|Δ_max)の項が加算される。
• 分布独立リグレット境界はO(|V|√(48|E|³n log n / p*)) + O(|E|Δ_max)であり、問題サイズに対して多項式的依存関係を示す。
• 有界滑らか性の性質を通じて、非線形報酬関数のサポートが可能であり、インフルエンス最大化ではf(x) = |E||V|xとなる。
• 本稿は、インフルエンス最大化における有界滑らか性に関する過去の主張を是正し、元の関数f(x) = |E||V|xが是正された解析のもとで有効であることを示す。
• リグレット解析はタイトであり、線形報酬を伴う先行の組合せ的バンディット研究よりも顕著に改善されている。