[論文レビュー] R-GCN: The R Could Stand for Random

Vic Degraeve, Gilles Vandewiele+2 more|arXiv (Cornell University)|Mar 4, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

この論文は、関係固有の変換を学習されたものからランダムに初期化された固定行列に置き換えることで、R-GCNの変種であるRR-GCNを提案している。メッセージ伝搬においてランダムな重みを使用しても、ノード分類およびリンク予測タスクにおいて、完全に訓練されたR-GCNと同等あるいはそれ以上の性能を達成できることを示している。主な洞察は、知識グラフの構造的インダクティブバイアスとメッセージ伝搬メカニズム自体が、学習されたパラメータよりも重要であるということである。

ABSTRACT

The inception of the Relational Graph Convolutional Network (R-GCN) marked a milestone in the Semantic Web domain as a widely cited method that generalises end-to-end hierarchical representation learning to Knowledge Graphs (KGs). R-GCNs generate representations for nodes of interest by repeatedly aggregating parameterised, relation-specific transformations of their neighbours. However, in this paper, we argue that the the R-GCN's main contribution lies in this "message passing" paradigm, rather than the learned weights. To this end, we introduce the "Random Relational Graph Convolutional Network" (RR-GCN), which leaves all parameters untrained and thus constructs node embeddings by aggregating randomly transformed random representations from neighbours, i.e., with no learned parameters. We empirically show that RR-GCNs can compete with fully trained R-GCNs in both node classification and link prediction settings.

研究の動機と目的

• R-GCNにおける学習されたパラメータが、知識グラフ埋め込みに有効であるために不可欠であるかどうかを調査すること。
• トレーニングに依存しない、完全にランダムなメッセージ伝搬メカニズムが知識グラフ上でどの程度の性能を発揮するかを評価すること。
• 今後の知識グラフ埋め込み手法の強力で効率的なベースラインを確立すること。
• 知識グラフの構造的インダクティブバイアスだけでも、高品質な表現を生成するのに十分であるかどうかを検討すること。
• バックプロパゲーションや重み学習を排除することで、より高速な実験を可能にすること。

提案手法

• RR-GCNは、R-GCN内のすべての関係固有の変換行列を、初期化後に固定されるランダムに初期化された行列に置き換える。
• ノード表現はメッセージ伝搬により更新される：各ノードは、隣接ノードからのメッセージをランダム変換行列を用いて集約し、その後平均化およびReLU活性化を適用する。
• バックプロパゲーションやパラメータ更新なしに、複数のレイヤーにわたってメッセージ伝搬プロセスを適用する。
• 一回のフォワードパスで埋め込みが生成され、エンドツーエンドで訓練されたR-GCNと比較して、RR-GCNは著しく高速である。
• RR-GCNはR-GCNと同一の集約および更新メカニズムを用いるが、すべての学習パラメータを省略する。
• 本手法は、9つのノード分類データセットおよび1つのリンク予測ベンチマークで評価され、完全に訓練されたR-GCNと比較された。

実験結果

リサーチクエスチョン

• RQ1 メッセージ伝搬におけるランダムで未学習の関係固有変換が、知識グラフ埋め込みで競争力のある性能を達成できるか？
• RQ2 R-GCNの性能は、主にそのメッセージ伝搬メカニズムに起因しているのか、それとも学習されたパラメータに起因しているのか？
• RQ3 知識グラフの構造的インダクティブバイアスだけでも、効果的なノード表現を生成するのに十分な信号を提供するのか？
• RQ4 RR-GCNは、今後の知識グラフ埋め込み手法の強力で高速かつ軽量なベースラインとして機能できるか？
• RQ5 どの状況で訓練済みR-GCNがRR-GCNを上回るのか、そしてこれはモデルの学習行動に何を示唆しているのか？

主な発見

• 低重要度の関係タイプを除去した後、AMデータセットにおいてRR-GCNはノード分類精度91.31% ± 0.24%を達成し、訓練済みR-GCNを上回った。
• リンク予測において、RR-GCNはすべての指標で完全に訓練されたR-GCNと統計的に差がない結果を示した。
• RR-GCNは2時間以内に訓練が完了したが、訓練済みR-GCNは収束まで数日を要した。これは顕著な高速化を示している。
• モデルは意味的構造を保持している：大陸や隣接国などのエンティティは、埋め込み空間で一貫したクラスタを形成した。
• 一部のケースではRR-GCNが訓練済みR-GCNを上回った。これは、後者がある部分のグラフ構造を抑制または無視するように学習している可能性を示唆している。
• 結果から、知識グラフにおける表現学習において、メッセージ伝搬メカニズムとグラフトポロジーが、学習パラメータよりも重要であることが示された。