[論文レビュー] Line Graph Neural Networks for Link Prediction

Lei Cai, Jundong Li+2 more|arXiv (Cornell University)|Oct 20, 2020

Advanced Graph Neural Networks参考文献 39被引用数 4

ひとこと要約

本稿では、元のグラフをライングラフに変換することでリンク予測のためのライングラフニューラルネットワーク（LGLP）を提案する。ここで各エッジがノードに変換され、グラフポーリングを必要とせず、ノード分類により直接的にリンク特徴を学習可能となる。この手法は、14の多様なデータセットにおいて、SOTAモデルのSEALを上回り、パrameter数が少なく、収束が速く、AUCとAPの両方で高い性能を達成する。

ABSTRACT

We consider the graph link prediction task, which is a classic graph analytical problem with many real-world applications. With the advances of deep learning, current link prediction methods commonly compute features from subgraphs centered at two neighboring nodes and use the features to predict the label of the link between these two nodes. In this formalism, a link prediction problem is converted to a graph classification task. In order to extract fixed-size features for classification, graph pooling layers are necessary in the deep learning model, thereby incurring information loss. To overcome this key limitation, we propose to seek a radically different and novel path by making use of the line graphs in graph theory. In particular, each node in a line graph corresponds to a unique edge in the original graph. Therefore, link prediction problems in the original graph can be equivalently solved as a node classification problem in its corresponding line graph, instead of a graph classification task. Experimental results on fourteen datasets from different applications demonstrate that our proposed method consistently outperforms the state-of-the-art methods, while it has fewer parameters and high training efficiency.

研究の動機と目的

• 既存の深層学習ベースのリンク予測モデルにおけるグラフポーリング層に起因する情報損失を解消すること。
• 手動で設計されたヒューリスティック手法の限界を克服し、異なるグラフタイプに一般化可能な手法を実現すること。
• リンク予測をライングラフにおけるノード分類問題に再定式化することで、リンクの直接的かつ効率的な特徴学習を可能にする新しいフレームワークの開発。
• グラフポーリングの必要性を排除することで、訓練効率とモデルの一般化性能を向上させつつ、高い予測性能を維持すること。

提案手法

• 元のグラフを、その対応するライングラフに変換する。ここでライングラフの各ノードは元のグラフのエッジを表す。
• 囲繞部分グラフ内のノードに構造的重要性スコアを割り当てるノードラベル関数を用い、特徴表現を強化する。
• ライングラフ上にグラフ畳み込みネットワーク（GCNs）を直接適用し、元のエッジを表すノード埋め込みを学習する。
• ライングラフから得られた埋め込みを、リンク存在予測のための特徴として用い、リンク予測をノード分類タスクとして扱う。
• ノード属性をライングラフ内のノードラベルと連結することで、属性付きグラフでも性能を発揮可能にする。
• 交差エントロピー損失を用いてエンドツーエンドでモデルを学習し、リンク予測性能を最適化する。

実験結果

リサーチクエスチョン

• RQ1 ライングラフにおけるノード分類問題にリンク予測を再定式化することで、グラフポーリング層に起因する情報損失を解消できるか？
• RQ2 提案されたライングラフニューラルネットワークフレームワークは、Coraなどの多様な実世界データセットにおいて、SEALのようなSOTAモデルを上回る性能を達成できるか？
• RQ3 50%のトレーニングリンクしか使用しないような低データ環境下でも、提案手法はどのように性能を発揮するか？
• RQ4 属性付きグラフおよび属性なしグラフの両方で、顕著な性能低下を示さずに高い性能を維持できるか？
• RQ5 グラフポーリングに依存するモデルと比較して、提案手法の訓練収束速度はどの程度速いか？

主な発見

• 提案されたLGLPモデルは、AUCおよびAPの両指標において、14の多様なデータセットですべてのベースライン手法、特にSEALを上回った。
• Coraデータセットでトレーニングリンクを50%に制限した場合、LGLPはAUC 81.45、AP 81.99を達成した。これはSEALのAUC 75.33およびAP 77.69を顕著に上回った。
• トレーニングリンクを50%に制限した状況でも、LGLPは80%のトレーニングデータで達成された値に近いAUCおよびAPを維持した。これは低データ環境下でも優れた一般化性能を示している。
• LGLPは10〜15エポックで収束したが、SEALは50エポックを要した。これは著しく高速な訓練速度と少ないパラメータ数を示している。
• 属性付きグラフ（例：Cora）においても、LGLPは安定した性能を維持したが、SEALの性能はノード属性を組み込むと低下した。
• ライングラフ変換により、トポロジカル情報が効果的に保持され、ポーリング操作なしにGCNが高品質なエッジ表現を学習可能となった。