[論文レビュー] TripleRE: Knowledge Graph Embeddings via Tripled Relation Vectors

Long Yu, Zhicong Luo+4 more|arXiv (Cornell University)|Sep 17, 2022

Advanced Graph Neural Networks被引用数 11

ひとこと要約

本論文は、関係ベクトルを3つの部分関係に分解することで、表現能力を向上させる、翻訳ベースの知識グラフ埋め込み手法であるTripleREを提案する。NodePieceを用いた効率的なエンティティ符号化と、TripleREv2における残差学習の統合により、ogbl-wikikg2で最先端の性能を達成し、パラメータ数を著しく削減した。パラメータ効率性とMRRの両面で、先行手法を上回った。

ABSTRACT

Translation-based knowledge graph embedding has been one of the most important branches for knowledge representation learning since TransE came out. Although many translation-based approaches have achieved some progress in recent years, the performance was still unsatisfactory. This paper proposes a novel knowledge graph embedding method named TripleRE with two versions. The first version of TripleRE creatively divide the relationship vector into three parts. The second version takes advantage of the concept of residual and achieves better performance. In addition, attempts on using NodePiece to encode entities achieved promising results in reducing the parametric size, and solved the problems of scalability. Experiments show that our approach achieved state-of-the-art performance on the large-scale knowledge graph dataset, and competitive performance on other datasets.

研究の動機と目的

• 知識グラフ内の複雑な関係的意味を捉えることのできない既存の翻訳ベースモデルの限界を解消すること。
• 効率的なエンティティ符号化を通じて、大規模知識グラフ埋め込みにおけるスケーラビリティの向上とパラメータ数の削減を図ること。
• 関係ベクトルを3つの部分関係に分解することで、より豊かな関係的モデリングを可能にする表現学習の向上。
• 残差学習が知識表現に与える有効性を検証し、性能向上を実現すること。
• TripleREとNodePieceを統合し、スケーラブルで低パラメータ数かつ高パフォーマンスな知識グラフ埋め込みを実現すること。

提案手法

• TripleREは、複雑な関係的パターンをよりよくモデル化できるように、各関係ベクトルを3つの異なる部分関係ベクトルに分割する新しいデコード機構を導入する。
• 標準的な翻訳ベースアプローチを拡張し、仮説 h + r1 + r2 + r3 ≈ t に基づくスコアリング関数を用いる。
• TripleREv2は残差学習機構を組み込み、最終的な表現が h + r1 + r2 + r3 + 残差 として計算される。これにより最適化と性能が向上する。
• エンティティはK番目の近隣アーカイブエンティティを用いてNodePieceで符号化され、モデルのパラメータ数が顕著に削減される。
• NodePieceのアーカイブベース符号化から得られる構造的情報を、TripleREの関係的分解と組み合わせることで、効率性と表現力の両方を向上させる。
• 学習率や残差スケーリング（u）を含むハイパーパramータチューニングを、ogbl-wikikg2 や ogbl-biokg のような大規模ベンチマークで性能最適化に用いる。

実験結果

リサーチクエスチョン

• RQ1 関係ベクトルを3つの部分関係に分解することで、翻訳ベースの知識グラフ埋め込みモデルの表現能力が向上するか？
• RQ2 新しいスコアリング関数と組み合わせたNodePieceの統合は、大規模知識グラフにおけるパラメータ効率性とパフォーマンスにどのように影響するか？
• RQ3 TripleREv2における残差学習機構は、標準的な翻訳ベースモデルに比べて一貫した性能向上をもたらすか？
• RQ4 提案手法は、ogbl-wikikg2 などの大規模ベンチマークで、低パラメータ数を維持しながら最先端の結果を達成できるか？
• RQ5 TripleREの文脈において、エンティティ符号化の最適な設定（例：アーカイブのみ vs. アーカイブ + 関係情報）は何か？

主な発見

• TripleRE+NodePieceは、ogbl-wikikg2ベンチマークで最先端のパフォーマンスを達成し、テストMRRが 0.6627 ± 0.0018、バリデーションMRRが 0.6745 ± 0.0015 を記録した。
• ogbl-wikikg2において、2番目に良い手法と比較してパラメータ数を3倍以上削減し、最も少ないパラメータ数で最高のパフォーマンスを達成した。
• ogbl-wikikg2において、『アーカイブ』符号化法（K番目の近隣アーカイブのみを用いる）が、『アーカイブ + r』および『アーカイブ + rm』の設定を上回り、MRRとパラメータ効率性の両面で優れた性能を示した。
• 残差学習を組み込んだTripleREv2は、テストMRRが 0.6627、バリデーションMRRが 0.6745 を達成し、知識表現における残差接続の有効性を裏付けた。
• FB15k や WN18 のような小規模データセットにおいても、TripleREはMRRの観点でTransAtを上回り、優れた一般化能力を示した。
• アブレーションスタディの結果、TripleREとNodePieceの組み合わせが極めて有効であることが確認され、『アーカイブ』符号化戦略がパフォーマンスとモデルサイズの最良のトレードオフを実現した。