[論文レビュー] DyHGCN: A Dynamic Heterogeneous Graph Convolutional Network to Learn Users' Dynamic Preferences for Information Diffusion Prediction

Chunyuan Yuan, Jiacheng Li+4 more|arXiv (Cornell University)|Jun 9, 2020

Complex Network Analysis Techniques参考文献 25被引用数 6

ひとこと要約

本稿では、情報拡散予測の向上を目的として、ユーザーの進化する好みを捉えるために、社会的関係と動的拡散グラフを統合的にモデル化する動的非均質的グラフ畳み込みネットワーク、DyHGCNを提案する。時間的ダイナミクスを符号化し、マルチヘッドアテンションを用いて文脈的依存関係をモデル化することで、3つの公開データセットにおいて最先端のモデルを著しく上回る性能を達成し、動的ユーザー好みのモデル化の有効性を示している。

ABSTRACT

Information diffusion prediction is a fundamental task for understanding the information propagation process. It has wide applications in such as misinformation spreading prediction and malicious account detection. Previous works either concentrate on utilizing the context of a single diffusion sequence or using the social network among users for information diffusion prediction. However, the diffusion paths of different messages naturally constitute a dynamic diffusion graph. For one thing, previous works cannot jointly utilize both the social network and diffusion graph for prediction, which is insufficient to model the complexity of the diffusion process and results in unsatisfactory prediction performance. For another, they cannot learn users' dynamic preferences. Intuitively, users' preferences are changing as time goes on and users' personal preference determines whether the user will repost the information. Thus, it is beneficial to consider users' dynamic preferences in information diffusion prediction. In this paper, we propose a novel dynamic heterogeneous graph convolutional network (DyHGCN) to jointly learn the structural characteristics of the social graph and dynamic diffusion graph. Then, we encode the temporal information into the heterogeneous graph to learn the users' dynamic preferences. Finally, we apply multi-head attention to capture the context-dependency of the current diffusion path to facilitate the information diffusion prediction task. Experimental results show that DyHGCN significantly outperforms the state-of-the-art models on three public datasets, which shows the effectiveness of the proposed model.

研究の動機と目的

• 情報拡散予測において、従来のモデルが社会的ネットワークと動的拡散グラフを統合的にモデル化できないという限界を解決すること。
• ユーザーの時間的変化する好みを捉えること。これは、コンテンツのリポストを行うかどうかに顕著に影響を与える。
• 時間的ダイナミクスをグラフ表現に統合することで、予測性能を向上させること。
• ユーザー相互作用ネットワークにおける構造的および時間的情報を統合する包括的なフレームワークの開発

提案手法

• 社会的ネットワークエッジとユーザー間の時間的変化する拡散関係を統合した動的非均質的グラフを構築する。
• グラフ畳み込みネットワークを用いて、社会的グラフおよび動的拡散グラフの両方からノード表現を学習する。
• 時間に敏感なアテンションメカニズムを用いて、歴史的および現在の拡散状態を統合することで、ノード埋め込みに時間的情報を符号化する。
• 現在の拡散経路内の文脈的依存関係をモデル化するためにマルチヘッドアテンションを活用し、予測性能を向上させる。
• 両方のグラフタイプからの補完的情報を保持するため、非均質的グラフ符号化モジュールを採用する。
• 将来のリポストを予測するために、リンク予測の目的関数を用いてモデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして社会的ネットワーク構造と動的拡散グラフを統合的にモデル化することで、情報拡散予測を向上させられるか？
• RQ2 進化する相互作用パターンによって形作られるユーザーの動的好みは、情報伝播にどの程度影響を与えるか？
• RQ3 グラフ表現における時間的符号化は、時間経過に伴うユーザー行動のモデリングをどのように向上させるか？
• RQ4 DyHGCNアーキテクチャの異なる構成要素は、全体の予測性能にどのように寄与しているか？
• RQ5 時間間隔やアテンションヘッド数といったハイパーパrameterの最適な設定は何か？

主な発見

• DyHGCNは3つの公開データセットで最先端の性能を達成し、Twitterではhits@100が58.85%、Doubanでは36.13%を記録した。
• 時間に敏感なアテンションモジュールは、ハード選択戦略と比較してhits@100で0.5%の向上を示し、時間的表現の統合における有効性を裏付けた。
• 社会的グラフまたは拡散グラフのいずれかを削除すると、性能が著しく低下するため、両方が正確な予測に不可欠であることが示された。
• アブレーションスタディにより、非均質的グラフ符号化モジュールが極めて重要であることが確認され、その除去が最大の性能低下を引き起こした。
• 感度分析の結果、14個のアテンションヘッドと8つの時間間隔が最適な設定であり、それ以上に増加させても利得は減少する傾向にあった。