[論文レビュー] Self-Supervised Learning of Contextual Embeddings for Link Prediction in Heterogeneous Networks

Ping Wang, Khushbu Agarwal+3 more|arXiv (Cornell University)|Jul 22, 2020

Advanced Graph Neural Networks参考文献 46被引用数 5

ひとこと要約

SLiCEは、固定またはグローバルに集約された表現に依存せずに、タスク固有のサブグラフをモデル化することにより、異種ネットワークにおけるリンク予測のための動的で文脈に適応したノード埋め込みを自己教師付きフレームワークで学習する。マスクされた事前学習とファインチューニングを通じて、グローバルなグラフ構造と局所的なメタパスに類似た意味的特徴を同時に活用することで、静的および文脈的ベースラインを上回り、ベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Representation learning methods for heterogeneous networks produce a low-dimensional vector embedding for each node that is typically fixed for all tasks involving the node. Many of the existing methods focus on obtaining a static vector representation for a node in a way that is agnostic to the downstream application where it is being used. In practice, however, downstream tasks such as link prediction require specific contextual information that can be extracted from the subgraphs related to the nodes provided as input to the task. To tackle this challenge, we develop SLiCE, a framework bridging static representation learning methods using global information from the entire graph with localized attention driven mechanisms to learn contextual node representations. We first pre-train our model in a self-supervised manner by introducing higher-order semantic associations and masking nodes, and then fine-tune our model for a specific link prediction task. Instead of training node representations by aggregating information from all semantic neighbors connected via metapaths, we automatically learn the composition of different metapaths that characterize the context for a specific task without the need for any pre-defined metapaths. SLiCE significantly outperforms both static and contextual embedding learning methods on several publicly available benchmark network datasets. We also interpret the semantic association matrix and provide its utility and relevance in making successful link predictions between heterogeneous nodes in the network.

研究の動機と目的

• 異種ネットワークにおける静的ノード埋め込みの限界を解消し、リンク予測のためのタスク固有の文脈的情報を捉えること。
• 既存の文脈学習手法が事前に定義されたメタパスに依存する問題を克服し、サブグラフから関連する意味的構成を自動で学習すること。
• グローバルなグラフ構造と局所的な注目型駆動の表現を統合するスケーラブルな自己教師付きフレームワークを構築し、下流タスクの性能を向上させること。
• 異種ネットワークのリンク予測における文脈的ノード表現の解釈可能性、有効性、スケーラビリティを実証すること。

提案手法

• SLiCEは、ノードをマスクし、異種関係に跨る高次元の意味的関連性を再構築する自己教師付き目的に基づき、全グラフ上で事前学習を行う。
• リンク予測のための入力ノードペアの周囲に、タスク固有の文脈サブグラフを構築し、局所的な構造的および意味的特徴を捉える。
• モデルは、固定埋め込みではなく、サブグラフの文脈に基づいて動的にノード表現を適応させる文脈翻訳メカニズムを採用する。
• アテンションメカニズムを通じて、複数のメタパスの組み合わせを暗黙的に学習し、手動によるメタパス指定の必要性を排除する。
• 2段階の訓練プロセスを採用：マスクされたサブグラフでの事前学習の後、下流のリンク予測タスクでのファインチューニング。
• モデルの複雑さを分析し、エッジ数にほぼ線形にスケーリングすることを示し、大規模ネットワークへのスケーラビリティを確認した。

実験結果

リサーチクエスチョン

• RQ1 自己教師付きのサブグラフレベルの文脈学習は、静的または事前に定義されたメタパスベースの手法と比較して、異種ネットワークにおけるリンク予測性能を向上させることができるか？
• RQ2 SLiCEは、手動での指定を必要とせずに、メタパスの関連する組み合わせをどれほど効果的に自動で学習できるか？
• RQ3 文脈サブグラフの設計と数は、モデルの性能と訓練効率にどのような影響を与えるか？
• RQ4 既存の文脈学習フレームワークと比較して、SLiCEのスケーラビリティと計算複雑性はどの程度か？
• RQ5 SLiCEの表現は、現実世界のネットワークにおける意味的文脈とどの程度解釈可能で一致するか？

主な発見

• SLiCEは、Amazon、DBLP、Freebase、Twitter、Healthcareを含む複数のベンチマークデータセットで、静的および文脈的埋め込み手法を著しく上回る。
• モデルはリンク予測で最先端の性能を達成しており、タスク固有の文脈サブグラフを学習できる能力に起因する。
• 1ノードあたりの文脈サブグラフ数は、データセットによって2.71から26.32の範囲に分布し、最適なパフォーマンスは1ノードあたり5〜10個のサブグラフで観察された。
• 訓練時間はエッジ数にほぼ線形にスケーリングすることから、サブグラフベースの学習の複雑さにもかかわらず、モデルのスケーラビリティが裏付けられた。
• アテンションメカニズムが予測時に関連する意味的パスやサブグラフ構造を明確に可視化するため、強い解釈可能性を示した。
• 文脈サブグラフ長を2倍にしても訓練時間にほとんど影響がなく、長時間の文脈シーケンスの効率的処理が可能であることが示された。