[論文レビュー] Composition-based Multi-Relational Graph Convolutional Networks

Shikhar Vashishth, Soumya Sanyal+2 more|arXiv (Cornell University)|Nov 8, 2019

Advanced Graph Neural Networks参考文献 39被引用数 136

ひとこと要約

CompGCNは、隣接ノードを関係embeddingsと組み合わせて、多関係グラフのノードと関係の埋め込みを同時に学習し、リンク予測の結果を向上させ、拡張可能な関係処理を実現し、コード公開を追加。

ABSTRACT

Graph Convolutional Networks (GCNs) have recently been shown to be quite successful in modeling graph-structured data. However, the primary focus has been on handling simple undirected graphs. Multi-relational graphs are a more general and prevalent form of graphs where each edge has a label and direction associated with it. Most of the existing approaches to handle such graphs suffer from over-parameterization and are restricted to learning representations of nodes only. In this paper, we propose CompGCN, a novel Graph Convolutional framework which jointly embeds both nodes and relations in a relational graph. CompGCN leverages a variety of entity-relation composition operations from Knowledge Graph Embedding techniques and scales with the number of relations. It also generalizes several of the existing multi-relational GCN methods. We evaluate our proposed method on multiple tasks such as node classification, link prediction, and graph classification, and achieve demonstrably superior results. We make the source code of CompGCN available to foster reproducible research.

研究の動機と目的

• Edgesにはラベルと向きがある多関係グラフを動機付けてモデル化する。
• Relational GCNの過剰パラメータ化に対処するため、ノードと関係を同時に埋め込むGCNフレームワークを開発する。
• 関係情報を効率的に組み込むために知識グラフ埋め込みの組成演算を活用する。
• リンク予測、ノード分類、グラフ分類タスクでの有効性を示す。

提案手法

• 関係をd次元の埋め込みで表現し、neighborメッセージに対してrelation-aware composition phi(e_s, e_r)を適用する。
• 元のエッジ、逆向きエッジ、自己ループエッジを方向特異的フィルタで表現する（W_lambda(r) → W_O, W_I, W_S）。
• 関係埋め込みを別の行列 W_rel で変換し、ノード埋め込み空間へ整列させる。
• 関係の数に応じて拡張するためのbasis-decomposition戦略を採用（relation basis vectors B）。
• CompGCNが Kipf-GCN、Relational-GCN、Directed-GCN、Weighted-GCNを一般化することを証明する（Proposition 4.1）。
• ノードと関係の埋め込みのスタックk層の定式化（Eq. 5）を提供し、複数層への拡張方法を示す。

実験結果

リサーチクエスチョン

• RQ1 CompGCNはリンク予測で既存のRelational GCNやKG埋め込みと比較してどのように性能を発揮するか？
• RQ2 異なるグラフ畳み込みエンコーダーと組成演算子がリンク予測性能に与える影響は？
• RQ3 basisベクトルを用いて関係数が増加してもパラメータ効率を保ちつつCompGCNはスケールするか？
• RQ4 ノード分類およびグラフ分類タスクで、強力なベースラインと比べてどの程度の性能を示すか？

主な発見

• CompGCNはFB15k-237のリンク予測で4指標中4つ、WN18RRのリンク予測で5指標中3つのベースラインを上回る。
• ConvEをスコア関数としてCompGCNと組み合わせる（Corr）とリンク予測設定で最も良い全体性能を達成。
• CompGCNはエンティティ埋め込みと関係埋め込みを共同で学習し、ノード埋め込みのみを学習する方法より表現力を向上させる。
• B個の関係basis vectorsを用いるパラメータ効率の高い変種は全関係パフォーマンスに匹敵し、関係数の増加に対してRelational-GCNよりもスケールする。
• ノード分類とグラフ分類の両方で顕著な改善を達成し、ノード分類データセットで平均3%の向上を示し、グラフ分類では同等または改善された性能を示す。