[論文レビュー] Topological Recurrent Neural Network for Diffusion Prediction

Jia Wang, Vincent W. Zheng+2 more|arXiv (Cornell University)|Nov 28, 2017

Complex Network Analysis Techniques参考文献 2被引用数 15

ひとこと要約

本稿では、情報拡散を動的有向無閉路グラフ（DAG）と呼ばれる拡散トポロジーとしてモデル化する、新しいトポロジカルリカレントニューラルネットワークTopo-LSTMを提案する。このモデルは、時間経過に伴うカスケードの構造的進化を捉え、自然言語の文脈で、実世界のデータセットにおいて平均平均精度（MAP）で最先端の性能を20.1%〜56.6%向上させる。

ABSTRACT

In this paper, we study the problem of using representation learning to assist information diffusion prediction on graphs. In particular, we aim at estimating the probability of an inactive node to be activated next in a cascade. Despite the success of recent deep learning methods for diffusion, we find that they often underexplore the cascade structure. We consider a cascade as not merely a sequence of nodes ordered by their activation time stamps; instead, it has a richer structure indicating the diffusion process over the data graph. As a result, we introduce a new data model, namely diffusion topologies, to fully describe the cascade structure. We find it challenging to model diffusion topologies, which are dynamic directed acyclic graphs (DAGs), with the existing neural networks. Therefore, we propose a novel topological recurrent neural network, namely Topo-LSTM, for modeling dynamic DAGs. We customize Topo-LSTM for the diffusion prediction task, and show it improves the state-of-the-art baselines, by 20.1%--56.6% (MAP) relatively, across multiple real-world data sets. Our code and data sets are available online at https://github.com/vwz/topolstm.

研究の動機と目的

• 既存のディープラーニングモデルが、単純なノード順序を超えた情報カスケードの豊かな構造的ダイナミクスを捉えることの制限を解消すること。
• 動的DAGとして、データグラフ上の情報の拡散の進化を明示的に表現する新しいデータモデル「拡散トポロジー」を導入すること。
• これらの動的DAGにおける階層的および時系列的依存関係をモデル化できる、Topo-LSTMと呼ばれるニューラルアーキテクチャを設計すること。
• カスケード構造を順序にとどまらずにモデル化することで、拡散予測タスクにおける性能向上が顕著に得られることを実証すること。

提案手法

• 情報がデータグラフ上にどのように動的に拡散するかを表現する新しいデータモデルとして、拡散トポロジーを導入する。ここでは、活性化したノードが非活性化された隣接ノードを活性化しようとするプロセスが、各時刻に有向無閉路グラフ（DAG）として形成される。
• Topological順序に沿って隠れ状態を伝搬することで、動的DAG上で動作するLSTMの特殊な変種であるTopo-LSTMを設計する。これにより、カスケード構造内の因果的依存関係が保持される。
• DAG内の構造的位置と時系列的伝播パターンを符号化するノード埋め込みを学習することで、Topo-LSTMを拡散予測に特化させる。
• 各非活性化ノードが次に活性化される確率を予測するために、交差エントロピー損失を用いてモデルをエンドツーエンドで訓練する。
• 隠れ状態が正しい因果的順序で計算されるよう、トポロジカルソート機構を導入することで、ネットワークが拡散プロセスの時系列的および構造的制約を尊重できるようにする。
• メッセージパッシング機構にノード特徴量とエッジ情報を統合し、表現学習を豊かにする。

実験結果

リサーチクエスチョン

• RQ1 情報カスケードの完全な構造的ダイナミクスを動的DAGとしてモデル化することで、順序型または部分グラフベースのモデルと比較して、予測精度が向上するか？
• RQ2 Topo-LSTMが拡散トポロジー内の階層的および因果的依存関係を捉える能力が、実世界のカスケード予測タスクにおける性能に与える影響は？
• RQ3 MAPおよびHits@K指標において、Embedded-IC、IC-SB、DeepCasといった既存の最先端手法と比較して、提案手法はどの程度優れているか？
• RQ4 隠れ表現の次元数や観測されたカスケードの長さに、Topo-LSTMの性能がどれほど感応するか？
• RQ5 異なるカスケード長さやネットワーク特性を有するデータセット間で、モデルは十分に一般化できるか？

主な発見

• 評価されたすべてのデータセットにおいて、Topo-LSTMは最良の既存ベースラインを平均平均精度（MAP）で20.1%〜56.6%向上させ、顕著な性能向上を示した。
• DiggおよびMemesにおいて、Topo-LSTMは最良のベースラインをHits@K指標で2.7%〜42.3%上回り、トップK予測において優れた性能を発揮した。
• Twitterでは、訓練データセットが小さいため、隠れ次元256で性能が収束するが、MemesおよびDiggでは512次元まで性能向上が継続することから、データサイズに応じたスケーラビリティが確認された。
• DiggおよびMemesではカスケード長が延びるほど予測精度が低下するが、Twitterでは低下しないことから、Twitterカスケードのパスの多様性が高いため、長時間系列の予測が困難であることが示唆された。
• すべてのデータセットで学習時間は3時間未満であり、Diggではデータ前処理が10分未満、モデル学習が140分未満で完了した。
• Embedded-ICは、パrameter数が少ないことと過学習に強いことから、TwitterではHits@{50,100}で優れた性能を示したが、他のデータセットでは劣位に回った。これは、より洗練された構造的モデリングの必要性を示している。