[論文レビュー] Modeling Relational Data with Graph Convolutional Networks

Michael Schlichtkrull, Thomas Kipf+4 more|arXiv (Cornell University)|Mar 17, 2017

Advanced Graph Neural Networks参考文献 40被引用数 85

ひとこと要約

この論文は多関係知識グラフのための Relational Graph Convolutional Networks (R-GCNs) を導入し、エンティティ分類とリンク予測における有効性を示します。特に R-GCN エンコーダと DistMult デコーダを組み合わせた場合、FB15k-237 で 29.8% の改善という顕著な結果を示しています。

ABSTRACT

Knowledge graphs enable a wide variety of applications, including question answering and information retrieval. Despite the great effort invested in their creation and maintenance, even the largest (e.g., Yago, DBPedia or Wikidata) remain incomplete. We introduce Relational Graph Convolutional Networks (R-GCNs) and apply them to two standard knowledge base completion tasks: Link prediction (recovery of missing facts, i.e. subject-predicate-object triples) and entity classification (recovery of missing entity attributes). R-GCNs are related to a recent class of neural networks operating on graphs, and are developed specifically to deal with the highly multi-relational data characteristic of realistic knowledge bases. We demonstrate the effectiveness of R-GCNs as a stand-alone model for entity classification. We further show that factorization models for link prediction such as DistMult can be significantly improved by enriching them with an encoder model to accumulate evidence over multiple inference steps in the relational graph, demonstrating a large improvement of 29.8% on FB15k-237 over a decoder-only baseline.

研究の動機と目的

• 大規模知識ベース（例：Yago、DBPedia、Wikidata）の不完全性に動機づけ、知識グラフ内の欠落情報を予測する。
• 高度に多関係なデータを扱うエンコーダーモデル（R-GCN）を開発する。
• エンティティ分類とリンク予測に対するR-GCNの有効性を示す。
• R-GCNエンコーダを用いて分解モデルを豊富にすることで、難解なデータセットでの性能が向上することを示す。

提案手法

• 関係ごとの変換と正規化された近傍集約を用いた関係的グラフ畳み込みネットワークを定義する（Equation 2）。
• 基底分解（Equation 3）およびブロック対角分解（Equation 4）による多関係ウェイト共有の正則化技術を導入する。
• ノードごとにソフトマックスを用いたエンコーダとしてR-GCNをエンコードし、クロスエントロピー損失（Equation 5）を適用する。
• エンコーダをR-GCNとし、デコーダをDistMult因子分解としたリンク予測のグラフオートエンコーダを定式化する（Equation 6）。負サンプリング（Equation 7）で訓練する。
• リンク予測のためにエンコーダとしてR-GCNのみを用いた場合と、DistMultデコーダと組み合わせた場合を評価し、アンサンブルR-GCN+を探索する。

実験結果

リサーチクエスチョン

• RQ1 Relational Graph Convolutional Networksはエンティティ分類とリンク予測のために多関係知識グラフを効果的にモデル化できるか？
• RQ2 R-GCNエンコーダを組み込むことで、難解なデータセット上で標準的なリンク予測因子分解モデル（例：DistMult）の性能を向上させるか？
• RQ3 正則化戦略（基底分解とブロック分解）は、過剰適合を避けつつ多くの関係タイプへR-GCNをスケールさせるのに役立つか？
• RQ4 R-GCNエンコーダと従来のデコーダを組み合わせると、特に逆関係ペアや高次数ノードを持つデータセットでデコーダのみのベースラインより性能が向上するか？
• RQ5 逆関係対が除外されたデータセット（例：FB15k-237）でR-GCNエンコーダを使用することの影響はどうか？

主な発見

• R-GCNはエンティティ分類で強い性能を発揮し、AIFBおよびAMデータセットで最先端の結果を達成している。
• リンク予測では、R-GCNエンコーダとDistMultデコーダはデコーダのみのDistMultを上回り、FB15kとWN18で競合的なベースラインと同等である。
• FB15k-237では、R-GCNエンコーダがデコーダベースラインを29.8%上回る顕著な改善を示し、グラフ近傍の推論の価値を強調している。
• アンサンブル（R-GCN+）は、R-GCNとDistMultを組み合わせることで、特に局所コンテキストが有益なデータセットで改善をもたらす傾向がある。
• R-GCNは高次数ノードでの性能が良く、純粋な因子分解モデルとの相補的な強みを示唆し、将来的な注意機構ベースの拡張の可能性を示している。
• 本研究は、R-GCNエンコーダとより表現力の高いデコーダ（例：ComplEx）を統合する潜在的方向性を示している。