[論文レビュー] Influence Maximization with Bandits

Sharan Vaswani, Laks V. S. Lakshmanan+1 more|arXiv (Cornell University)|Feb 27, 2015

Advanced Bandit Algorithms Research参考文献 4被引用数 27

ひとこと要約

本稿では、影響確率が未知である状況におけるソーシャルネットワーク上での影響力最大化のための組み合わせ的マルチアームバンディットフレームワークを提案する。エッジレベルと新規のノードレベルフィードバックを併用することで、レグレットを最小化する。探索と活用のバランスを取るレグレット最小化アルゴリズムを導入し、実データセット上での有効性を実証するとともに、性能に関する理論的バウンドを提示する。

ABSTRACT

We consider the problem of \emph{influence maximization}, the problem of maximizing the number of people that become aware of a product by finding the `best' set of `seed' users to expose the product to. Most prior work on this topic assumes that we know the probability of each user influencing each other user, or we have data that lets us estimate these influences. However, this information is typically not initially available or is difficult to obtain. To avoid this assumption, we adopt a combinatorial multi-armed bandit paradigm that estimates the influence probabilities as we sequentially try different seed sets. We establish bounds on the performance of this procedure under the existing edge-level feedback as well as a novel and more realistic node-level feedback. Beyond our theoretical results, we describe a practical implementation and experimentally demonstrate its efficiency and effectiveness on four real datasets.

研究の動機と目的

• 影響確率が未知または利用不可である状況における影響力最大化を扱い、事前の拡散データに依存しないようにすること。
• 複数ラウンドにわたる累積レグレットを最小化するため、影響確率の学習（探索）と高い拡散を示すシードセットの選択（活用）のバランスを取ること。
• 個々のエッジの影響を観測しないで、ノードのアクティブ状態（製品の採用）のみを観測する、新規のノードレベルフィードバックメカニズムを提案・分析すること。これは、現実の応用においてより現実的である。
• 現実のネットワークにスケーラブルであり、4つの実データセット上で実証的に有効である、実用的なレグレット最小化アルゴリズムを開発すること。

提案手法

• 各アームがサイズkのシードセットに対応する組み合わせ的マルチアームバンディット（CMAB）フレームワークを採用し、報酬は期待される影響拡散量である。
• エッジレベルフィードバックを用い、カスケード中に各個々のエッジに沿った影響の伝播を観測する。
• 新規のノードレベルフィードバックモデルを導入し、アクティブになったノード（製品を採用したノード）のみを観測し、具体的なエッジの影響は観測しない。
• ベータ＝ベルヌーイの共役事前分布を用いてベイズ更新を行い、影響確率を推定する。ここで事前分布のパラメータは擬似カウントとして機能する。
• 現在の推定値に基づき、期待される拡散量を最大化するシードセットを選択するグリーディ戦略を採用し、探索にはイプシロングリーディやUCBスタイルの選択を適用する。
• 未十分に探索されたエッジの数を最大化するようにシードセットを選択する戦略的探索アルゴリズムを提案し、学習のためのネットワークカバレッジを向上させる。

実験結果

リサーチクエスチョン

• RQ1 事前の拡散データがなければ、組み合わせ的バンディットアプローチが影響確率を効果的に学習できるか？
• RQ2 ノードレベルフィードバックとエッジレベルフィードバックの両者において、レグレットと学習効率の観点から性能にどのような差があるか？
• RQ3 エッジレベルおよびノードレベルフィードバックの両設定下で、提案されたアルゴリズムの理論的レグレットバウンドは何か？
• RQ4 事前分布（例：ベータ＝ベータの共役事前分布）の導入が、学習プロセスの収束性と性能に与える影響は何か？
• RQ5 戦略的探索は、ランダム探索に比べて、影響確率推定の正確性とサンプル効率の面で優れているか？

主な発見

• 提案されたアルゴリズムは、エッジレベルおよびノードレベルフィードバックの両設定で、非線形なレグレットを達成しており、限られたフィードバックでも学習が可能であることを示している。
• ノードレベルフィードバックはより現実的であるが、エッジレベルフィードバックに比べて高いレグレットを示すが、適切なアルゴリズム設計により、その性能差は管理可能である。
• 擬似カウントを伴うベータ＝ベルヌーイ事前分布の使用は、Flickrデータセットでの実験により、学習収束性を顕著に向上させたことが示された。
• 戦略的探索は、特にノードレベルフィードバック下で、ランダム探索に比べて影響確率推定のL2誤差をより効果的に低減した。
• 4つの実世界データセットにおいて、低レグレットで高い影響拡散を達成した。これは、実用的有効性を確認するものである。
• 理論的分析により、レグレットが時間とともに非線形に増加することが確認され、アルゴリズムが時間とともに最適なシードセットを学習することを示している。