[論文レビュー] Modeling Event Propagation via Graph Biased Temporal Point Process

Weichang Wu, Huanxi Liu+3 more|arXiv (Cornell University)|Aug 5, 2019

Point processes and geometric inequalities参考文献 53被引用数 6

ひとこと要約

この論文では、イベント伝播モデリングのためのグラフ構造的情報を時系列ポイント過程に統合する新しいモデルであるグラフバイアス付き時系列ポイント過程（GBTPP）を提案する。直接的影響は学習されたノード埋め込みで、間接的影響は履歴に配慮したアテンションで別々にモデル化することで、実世界のリツイートおよびミーム伝播データセットにおいて最先端の手法を上回る性能を達成する。

ABSTRACT

Temporal point process is widely used for sequential data modeling. In this paper, we focus on the problem of modeling sequential event propagation in graph, such as retweeting by social network users, news transmitting between websites, etc. Given a collection of event propagation sequences, conventional point process model consider only the event history, i.e. embed event history into a vector, not the latent graph structure. We propose a Graph Biased Temporal Point Process (GBTPP) leveraging the structural information from graph representation learning, where the direct influence between nodes and indirect influence from event history is modeled respectively. Moreover, the learned node embedding vector is also integrated into the embedded event history as side information. Experiments on a synthetic dataset and two real-world datasets show the efficacy of our model compared to conventional methods and state-of-the-art.

研究の動機と目的

• 従来の時系列ポイント過程がノード間の構造的依存関係を無視するという限界を是正すること。
• 学習されたノード埋め込みを構造的事前知識として用いることで、グラフトポロジーやノードの近接性をイベント系列モデリングに統合すること。
• イベント伝播ダイナミクスにおいて、接続されたノード間の直接的影響と、伝播履歴による間接的影響を区別すること。
• 統一されたフレームワーク内で構造的および順序的情報を統合することで、伝播ノードおよび時刻の予測精度を向上させること。

提案手法

• GBTPPは、イベントマーカーが有向かつ重み付きグラフ内のノードに対応する多次元ハーケス過程を用いてイベント伝播をモデリングする。
• 接続されたノード間の直接的影響は、イベント履歴の関数として導出され、事前学習済みのノード埋め込みに基づいてスケーリングされる学習可能バイアス項としてモデル化される。
• 履歴イベントからの間接的影響は、過去のイベントに注目する再帰的ニューラルネットワークによってモデル化され、隠れ状態にノード埋め込みをサイド情報として用いる。
• ノード埋め込みはグラフ表現学習（例：node2vecまたは類似手法）により学習され、影響推定をガイドする構造的事前知識として機能する。
• 強度関数は、グラフにバイアスがかかる直接的影響と、履歴に依存する間接的影響を組み合わせており、構造的および時間的要因を別々にモデル化可能である。
• 観測されたイベント系列に基づくネガティブ・ログリクライム損失を用いて、エンドツーエンドでモデルを訓練し、関連性およびノード近接性に基づいて履歴イベントの重みを付けるアテンション機構を用いる。

実験結果

リサーチクエスチョン

• RQ1 グラフ構造的情報を統合することで、時系列ポイント過程におけるイベント伝播予測の精度が向上するか？
• RQ2 接続されたノード間の直接的影響と、伝播履歴による間接的影響を分離してモデル化することは、モデリング性能にどのように影響するか？
• RQ3 ノード埋め込みをサイド情報として用いることで、モデルの将来の伝播ノードおよび時刻の予測能力はどの程度向上するか？
• RQ4 GBTPPモデルは、Higgs TwitterおよびMemeTrackerなどの実世界のイベント伝播データセットにおいて、最先端の手法を上回るか？

主な発見

• GBTPPは、パラメトリックな従来手法（例：ポisson過程、マルコフ連鎖）および標準的な時系列ポイント過程（HP、SCP）に比べ、伝播ノードおよび時刻の両方の予測で顕著に優れた性能を発揮する。
• GBTPPは最先端のRMTPPモデルを上回る性能を達成しており、特に実世界のデータセットにおいて顕著に顕著な効果を示しており、明示的なグラフバイアスと構造的サイド情報の有効性を裏付けている。
• トップ-K精度曲線から、GBTPPは次に伝播するノードを推薦する際、一貫して高い順位を維持しており、レコメンデーションシステムにおける実用的有用性が顕著である。
• NRPPもノード埋め込みを用いるが、GBTPPの性能向上は単に埋め込みの組み込みによるものではなく、直接的影響と間接的影響を別々にモデル化するアーキテクチャ的イノベーションに起因している。
• 合成データセットではGBTPPはRMTPPと同等の性能を示すが、実世界データでは性能差が拡大するため、モデルが実際のグラフトポロジーに敏感であることが確認された。
• アブレーションスタディの結果、グラフにバイアスがかかる強度項と、埋め込みを補完する履歴モデリングの両方が、モデルの優れた性能を支える上で不可欠であることが確認された。