[論文レビュー] InterHT: Knowledge Graph Embeddings by Interaction between Head and Tail Entities

Baoxin Wang, Qingye Meng+7 more|arXiv (Cornell University)|Feb 10, 2022

Advanced Graph Neural Networks被引用数 10

ひとこと要約

本稿では、補助ベクトルを用いた要素ごとの乗算により、頭部エンティティと尾部エンティティの双方向的相互作用を可能にする、新しい距離ベースの知識グラフ埋め込みモデルInterHTを提案する。クロスエンティティ情報の統合により、InterHTはogbl-wikikg2データセットで最先端の性能を達成し、DigPieceを用いたInterHT+では72.93%のMRRを達成した。

ABSTRACT

Knowledge graph embedding (KGE) models learn the representation of entities and relations in knowledge graphs. Distance-based methods show promising performance on link prediction task, which predicts the result by the distance between two entity representations. However, most of these methods represent the head entity and tail entity separately, which limits the model capacity. We propose two novel distance-based methods named InterHT and InterHT+ that allow the head and tail entities to interact better and get better entity representation. Experimental results show that our proposed method achieves the best results on ogbl-wikikg2 dataset.

研究の動機と目的

• 頭部および尾部エンティティを独立して表現する従来の距離ベースの知識グラフ埋め込みモデルにおけるモデル容量の制限を解決すること。
• 表現学習中に頭部および尾部エンティティ間の動的相互作用を可能にすることで、リンク予測性能を向上させること。
• 文脈に配慮したエンティティ表現を通じて、大規模知識グラフにおける表現力および一般化性能を向上させること。
• 知識グラフ補完のためのogbl-wikikg2ベンチマークデータセットで最先端の結果を達成すること。

提案手法

• InterHTは、元の頭部埋め込みと尾部エンティティから導出された補助ベクトルとの要素ごとの乗算によって、最終的な頭部エンティティ表現を形成するメカニズムを導入する。
• 同様に、最終的な尾部エンティティ表現は、元の尾部埋め込みと頭部エンティティからの補助ベクトルとの乗算によって得られ、双方向的相互作用が実現される。
• モデルは、更新された頭部および尾部表現間の近接度を測定する距離ベースのスコア関数を用い、リンクの妥当性を予測する。
• InterHT+は、より高い次元の埋め込み（512次元）を採用し、一般化性能の向上を図るためにDigPieceを統合している。
• 本手法は、学習率5e-4で、負例サンプリングサイズ128を用いたAdam最適化手法を用いてエンドツーエンドで学習される。
• 本手法は、MRRおよびHits@10を指標としてogbl-wikikg2で評価され、スケーラビリティの観点からNodePieceおよびDigPieceを用いたアブレーションが実施されている。

実験結果

リサーチクエスチョン

• RQ1 頭部および尾部エンティティ間の双方向的相互作用は、距離ベースの知識グラフ埋め込みモデルの表現能力を向上させることができるか？
• RQ2 要素ごとの乗算によるクロスエンティティ情報の統合は、リンク予測タスクにおける一般化および性能向上に寄与するか？
• RQ3 大規模知識グラフにおいて、RotatE、PairRE、TripleREなどの最先端モデルと比較して、InterHTはどのように性能を発揮するか？
• RQ4 DigPieceまたはNodePieceの統合により、InterHTの未知語彙エンティティに対する性能およびロバスト性はさらに向上するか？

主な発見

• NodePieceを組み合わせたInterHTは、ogbl-wikikg2データセットで67.79%のMRRを達成し、TripleREを1.97ポイント上回った。
• DigPieceを統合したInterHT+バージョンは、ogbl-wikikg2テストセットで最先端のMRR 72.93%を達成した。
• TransE、RotatE、PairRE、ComplExなどのベースラインモデルと比較して、本モデルは優れた性能を示した。これは、クロスエンティティ相互作用の有効性を裏付けている。
• InterHT+と組み合わせたDigPieceの使用は、アーカイブベースのエンティティトークン化により、特に未知のエンティティに対して一般化性能を顕著に向上させた。
• アブレーションスタディの結果、InterHTにおける相互作用メカニズムがモデル容量および予測精度の向上に重要な要因であることが確認された。
• 結果から、クロスエンティティ乗算による動的かつ文脈に配慮したエンティティ表現が、リンク予測性能の明確な向上に寄与することが検証された。