[論文レビュー] Neural Diffusion Model for Microscopic Cascade Prediction

Cheng Yang, Maosong Sun+4 more|arXiv (Cornell University)|Dec 21, 2018

Complex Network Analysis Techniques参考文献 43被引用数 16

ひとこと要約

本稿では、注目メカニズムと畳み込みネットワークを活用することで、従来のモデルが強い仮定に依存するのを緩和し、複雑なユーザーレベルの拡散ダイナミクスを捉えるニューラル拡散モデル（NDM）を提案する。本モデルは、4つの実世界データセットにおいて、最先端のベースライン比でF1スコアで最大26%の相対的改善を達成し、初期段階の予測において優れた性能と一般化能力を示している。

ABSTRACT

The prediction of information diffusion or cascade has attracted much attention over the last decade. Most cascade prediction works target on predicting cascade-level macroscopic properties such as the final size of a cascade. Existing microscopic cascade prediction models which focus on user-level modeling either make strong assumptions on how a user gets infected by a cascade or limit themselves to a specific scenario where "who infected whom" information is explicitly labeled. The strong assumptions oversimplify the complex diffusion mechanism and prevent these models from better fitting real-world cascade data. Also, the methods which focus on specific scenarios cannot be generalized to a general setting where the diffusion graph is unobserved. To overcome the drawbacks of previous works, we propose a Neural Diffusion Model (NDM) for general microscopic cascade prediction. NDM makes relaxed assumptions and employs deep learning techniques including attention mechanism and convolutional network for cascade modeling. Both advantages enable our model to go beyond the limitations of previous methods, better fit the diffusion data and generalize to unseen cascades. Experimental results on diffusion prediction task over four realistic cascade datasets show that our model can achieve a relative improvement up to 26% against the best performing baseline in terms of F1 score.

研究の動機と目的

• ユーザーフェイルオーバーのメカニズムに関する強い、単純化された仮定に依存する既存の微視的拡散予測モデルの限界を解消すること。
• 従来の手法が明示的な「だれがだれを感染させたか」の情報が必要であるのに対し、拡散グラフが観測不可能な現実世界の設定に一般化可能であるようにすること。
• ディープラーニング技術を用いて、初期段階の拡散予測の精度とロバスト性を向上させること。
• 静的確率モデル（例：インディペンデントカスケード）では捉えきれない、複雑な非マルコフ的ユーザーレベルの拡散ダイナミクスをモデル化すること。
• 学習された注目と畳み込みプロジェクション行列の分析を通じて、構造的パターンと予測行動の関連を明らかにすることで解釈性を高めること。

提案手法

• モデルは、ユーザーエンベッディングを16の部分空間に投影するマルチヘッド注目メカニズムを用い、それぞれがユーザの拡散プロセスにおける異なる役割や影響パターンを表す。
• 1次元畳み込みネットワークが、最近感染したユーザの系列を処理し、各位置（例：t, t-1, t-2）に学習可能なプロジェクション行列を設けて、その寄与度を重みづけする。
• 初期ユーザーエンベッディングに学習可能なスケールを組み込み、プロジェクション行列の相対的な大きさ（フロベニウスノルムで測定）が、各時刻の予測への重要性を示す。
• 注目メカニズムにより、モデルは関連するユーザーフィーチャーや役割に動的に注目でき、手作業による特徴量に依存せずに表現学習を向上させる。
• モデルは、次に感染するユーザを予測するタスクを交差エントロピー損失で最適化するエンドツーエンドの学習を、カスケード系列上で実施する。
• モデルは、拡散グラフの事前知識を一切不要としているため、一般化可能であり、製品採用やバイラル拡散のように感染チェーンが観測されない状況にも適用可能である。

実験結果

リサーチクエスチョン

• RQ1 感染確率に関する強い仮定を緩和した場合、ディープラーニングベースのモデルが、従来のカスケードモデルを上回る性能を示せるか？
• RQ2 注目メカニズムと畳み込みネットワークは、実世界のカスケードデータにおける複雑で非マルコフ的ユーザーレベルの拡散ダイナミクスをどの程度うまくモデル化できるか？
• RQ3 最近感染したユーザ（例：最も最近 vs. 2番目に最近）の相対的寄与度は、予測精度にどのように影響するか？ また、学習されたモデルパラメータを用いてその影響を定量化できるか？
• RQ4 初期ユーザは、未来の感染予測において支配的役割を果たすか？ また、Twitterなど異なるデータ分布（例：Twitter vs. 他のネットワーク）においてその影響は変化するか？
• RQ5 学習されたモデルパラメータ（例：プロジェクション行列のノルム）は、下位の拡散プロセスに関する解釈可能なインサイトを提供できるか？

主な発見

• ニューラル拡散モデル（NDM）は、4つの実世界データセットにおける拡散予測タスクで、最良のベースライン比でF1スコアに最大26%の相対的改善を達成した。
• 最も最近感染したユーザのための学習済みプロジェクション行列のスケール（W₀ᶜ）は、過去のユーザ（W₁ᶜ, W₂ᶜ）よりも常に大きく、最近のユーザが次回の予測により多く寄与していることを確認した。
• Twitterデータセットでは、初期ユーザーエンベッディングのプロジェクション行列（W_initᶜ）のフロベニウスノルムが最大であり、URL伝播の完全な履歴が関係している可能性から、拡散プロセスにおいて支配的役割を果たしていることが示された。
• モデルは未観測のカスケードに対しても一般化が良く、特に予測が最も価値のある初期段階の予測において優れた性能を示した。
• 注目メカニズムにより、手作業による特徴量に依存せずに、意味のある動的ユーザーロール表現を学習可能となったが、完全な解釈性は依然として課題である。
• 初期ユーザが真のソースでない場合でも、モデルの性能は競争力があり、あるいはそれ以上であったため、部分観測やデータウィンドウ効果に対してロバストであることが示された。