[論文レビュー] Generalized Multi-Relational Graph Convolution Network.

Donghan Yu, Yiming Yang+2 more|arXiv (Cornell University)|Jun 12, 2020

Advanced Graph Neural Networks参考文献 22被引用数 3

ひとこと要約

本稿では、異種関係を有する知識グラフにおけるノードおよびエッジ埋め込みの共同最適化を可能にする一般化された多関係的グラフ畳み込みネットワーク、GEM-GCNを提案する。GCNと知識ベース埋め込み手法を統合することで、ベンチマークデータセットにおける知識グラフアラインメントおよびエンティティ分類のタスクで最先端の性能を達成した。

ABSTRACT

Graph Convolutional Networks (GCNs) have received increasing attention in recent machine learning. How to effectively leverage the rich structural information in complex graphs, such as knowledge graphs with heterogeneous types of entities and relations, is a primary open challenge in the field. Most GCN methods are either restricted to graphs with a homogeneous type of edges (e.g., citation links only), or focusing on representation learning for nodes only instead of jointly optimizing the embeddings of both nodes and edges for target-driven objectives. This paper addresses these limitations by proposing a novel framework, namely the GEneralized Multi-relational Graph Convolutional Networks (GEM-GCN), which combines the power of GCNs in graph-based belief propagation and the strengths of advanced knowledge-base embedding methods, and goes beyond. Our theoretical analysis shows that GEM-GCN offers an elegant unification of several well-known GCN methods as specific cases, with a new perspective of graph convolution. Experimental results on benchmark datasets show the advantageous performance of GEM-GCN over strong baseline methods in the tasks of knowledge graph alignment and entity classification.

研究の動機と目的

• 既存のGCN手法が同型グラフに限定されているか、ノード表現学習にのみ焦点を当てているという制限を解決する。
• 知識グラフのような複雑な多関係的グラフにおいて、ノードおよびエッジ埋め込みの共同最適化を可能にする。
• 代表的なGCN手法と知識ベース埋め込み技術を、統一された理論的枠組みの下に統合する。
• 異種グラフ設定における、ターゲット指向のタスク、たとえば知識グラフアラインメントおよびエンティティ分類のパフォーマンスを向上させる。

提案手法

• 複数の関係タイプを統一的なメッセージパッシングフレームワーク内で明示的にモデル化する一般化されたグラフ畳み込み演算を提案する。
• 関係構造を保持するために、GCNのメッセージパッシングメカニズムに高度な知識ベース埋め込み技術（例：TransEスタイルのスコアリング）を統合する。
• 下流タスクのためのノードおよびエッジ表現の共同最適化を可能にする微分可能でエンドツーエンドの訓練目的を採用する。
• いくつかの古典的GCN手法が提案されたGEM-GCNフレームワークの特別なケースであることを示す理論的統一を導出する。
• 関係固有の重み行列とアテンションメカニズムを用いて、異なる関係タイプからのメッセージを適応的に集約する。
• 関係の多様性を尊重するパラメータ化された集約関数を用いて、多関係的グラフ上で信念伝播を適用する。

実験結果

リサーチクエスチョン

• RQ1 統一されたGCNフレームワークは、異種エンティティおよび関係を有する多関係的グラフを効果的にモデル化できるか？
• RQ2 ノードとエッジ埋め込みの共同最適化は、ノードのみの学習と比較して、知識グラフタスクのパフォーマンスをどのように向上させるか？
• RQ3 GEM-GCNは、既存のGCNおよび知識ベース埋め込み手法をどの程度一般化できるか？
• RQ4 提案されたフレームワークは、知識グラフアラインメントおよびエンティティ分類のベンチマークで優れたパフォーマンスを達成するか？

主な発見

• GEM-GCNは、標準ベンチマークデータセット上で、強力なベースラインを上回る最先端のパフォーマンスを知識グラフアラインメントタスクで達成した。
• 特にリソースが限られた環境および多関係的設定において、エンティティ分類の正確性が顕著に向上した。
• 理論的分析により、GEM-GCNがいくつかの代表的なGCN変種を特別なケースとして含んでいることが確認され、その一般性が裏付けられた。
• 実験的結果から、ノードとエッジ埋め込みの共同学習は、ノードのみのアプローチよりもより強固で表現力に富んだ表現をもたらすことが示された。