[論文レビュー] DeepCas: an End-to-end Predictor of Information Cascades

Cheng Li, Jiaqi Ma+2 more|arXiv (Cornell University)|Nov 16, 2016

Advanced Graph Neural Networks参考文献 41被引用数 39

ひとこと要約

DeepCasは、ランダムウォークパスを通じてグラフの包括的表現を学習することで、手作業で特徴を設計しないで、情報カスケードの将来のサイズを予測するエンドツーエンドのディープラーニングモデルを提案する。このモデルは、特徴ベースの手法、ノード埋め込み、グラフカーネル手法を凌駕し、コミュニティ構造や三角形数などの重要なネットワーク特性を、アテンションを備えたGRUを用いて自動的に捉えている。

ABSTRACT

Information cascades, effectively facilitated by most social network platforms, are recognized as a major factor in almost every social success and disaster in these networks. Can cascades be predicted? While many believe that they are inherently unpredictable, recent work has shown that some key properties of information cascades, such as size, growth, and shape, can be predicted by a machine learning algorithm that combines many features. These predictors all depend on a bag of hand-crafting features to represent the cascade network and the global network structure. Such features, always carefully and sometimes mysteriously designed, are not easy to extend or to generalize to a different platform or domain. Inspired by the recent successes of deep learning in multiple data mining tasks, we investigate whether an end-to-end deep learning approach could effectively predict the future size of cascades. Such a method automatically learns the representation of individual cascade graphs in the context of the global network structure, without hand-crafted features and heuristics. We find that node embeddings fall short of predictive power, and it is critical to learn the representation of a cascade graph as a whole. We present algorithms that learn the representation of cascade graphs in an end-to-end manner, which significantly improve the performance of cascade prediction over strong baselines that include feature based methods, node embedding methods, and graph kernel methods. Our results also provide interesting implications for cascade prediction in general.

研究の動機と目的

• 手作業で特徴を設計しないで、情報カスケードの将来のサイズを予測するエンドツーエンドのディープラーニングフレームワークの構築を目的とする。
• 包括的グラフ表現学習が、ノードレベルの埋め込みや特徴工学よりもカスケード予測において優れているかどうかを調査すること。
• ディープラーニングが、カスケードグラフおよびグローバルネットワークコンテキストから予測可能な構造的パターンを自動で学習できるかを検討すること。
• ランダムウォークベースのパスサンプリングが、カスケードグラフの表現戦略として有効であるかどうかを評価すること。
• ディープラーニングが社会的ネットワークのカスケード予測において解釈可能で一般化可能な能力を発揮するかの知見を提供すること。

提案手法

• 各カスケードグラフを、ノードの同一性と構造的情報を保持する複数のランダムウォークによって生成されたパスの集合として表現する。
• 各パス内のノードのシーケンスを、GRUに基づく再帰的ニューラルネットワークで、密なベクトル表現に符号化する。
• 符号化されたパスをアテンション機構を用いて集約し、全体のカスケードグラフに対する統一的かつ文脈に配慮した表現を生成する。
• 回帰損失を用いてエンドツーエンドでモデルを訓練し、カスケードの将来のサイズを予測する。
• 多様なカスケードグラフの学習を通じて、グローバルネットワーク構造を暗黙的に活用し、集団レベルのパターンを学習可能にする。
• エンドツーエンド学習の一部としてパスサンプリングプロセスを最適化し、効果的なパス生成戦略をモデルが学習できるようにする。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのディープラーニングモデルは、従来の特徴ベース手法よりも情報カスケードサイズの予測を優れて行えるか？
• RQ2 カスケードグラフの包括的表現は、ノード埋め込みやサブグラフレベルの特徴よりも予測に優れているか？
• RQ3 ディープラーニングは、人為的に設計された特徴がなくても、コミュニティ数、三角形密度、中心性といった意味のある構造的特徴をどれだけ自動で学習できるか？
• RQ4 ランダムウォーク戦略の選択が予測性能に与える影響は何か？また、これをエンドツーエンドで学習可能か？
• RQ5 グローバルグラフの構造的入力を直接与えずに、モデルはグローバルネットワーク特性（例：次数分布、構造的穴）を暗黙的に捉えることができるか？

主な発見

• DeepCasは、特徴ベース手法、ノード埋め込みモデル、グラフカーネル手法といった強力なベースラインを著しく上回り、カスケードサイズの予測性能に優れている。
• ノード埋め込みだけでは、正確なカスケード予測には不十分であり、カスケードグラフ全体をモデル化する必要があることが示された。
• モデルは、明示的な特徴工学を経ずに、開いている・閉じている三角形の数、コミュニティ数、エッジ密度といった重要な構造的特徴を自動で学習している。
• グローバルネットワーク構造の直接入力がなくても、エンドツーエンド学習を通じてグローバルネットワークパターンを暗黙的に捉えている。
• 異なるランダムウォーク戦略は性能に差を生じさせ、モデルは予測精度を向上させる最適なパスサンプリングパターンを学習している。
• 結果から、ディープラーニングの利点はドメイン知識を置き換えることではなく、古典的なネットワーク概念の予測力をよりよく捉える高レベルの表現を学習できることにあると示唆された。