[論文レビュー] Improving Hyper-Relational Knowledge Graph Completion

Donghan Yu, Yiming Yang|arXiv (Cornell University)|Apr 16, 2021

Advanced Graph Neural Networks参考文献 19被引用数 19

ひとこと要約

この論文では、STAREの重いグラフニューラルネットワークを軽量な埋め込み技術に置き換え、限定的でない補助的訓練タスクを導入することで、より効率的かつ効果的なハイパーリレーショナル知識グラフ補完用モデルであるHy-Transformerを提案する。本手法は、3つのベンチマークデータセットにおいて最先端の性能を達成するとともに、計算コストを顕著に削減した。

ABSTRACT

Different from traditional knowledge graphs (KGs) where facts are represented as entity-relation-entity triplets, hyper-relational KGs (HKGs) allow triplets to be associated with additional relation-entity pairs (a.k.a qualifiers) to convey more complex information. How to effectively and efficiently model the triplet-qualifier relationship for prediction tasks such as HKG completion is an open challenge for research. This paper proposes to improve the best-performing method in HKG completion, namely STARE, by introducing two novel revisions: (1) Replacing the computation-heavy graph neural network module with light-weight entity/relation embedding processing techniques for efficiency improvement without sacrificing effectiveness; (2) Adding a qualifier-oriented auxiliary training task for boosting the prediction power of our approach on HKG completion. The proposed approach consistently outperforms STARE in our experiments on three benchmark datasets, with significantly improved computational efficiency.

研究の動機と目的

• ハイパーリレーショナルKG補完の分野で当時最先端のモデルであったSTAREの計算非効率性を是正すること。STAREは重いグラフニューラルネットワークに依存している。
• 三元組とその修飾子の間の相互作用をよりよくモデル化することで、ハイパーリレーショナルKG補完の予測性能を向上させること。
• 軽量な埋め込み処理技術を用いることで、推論時間およびトレーニング時間を著しく短縮しながら、モデルの有効性を維持または向上させること。
• 欠落した修飾子エンティティを予測することを目的とした、新たな補助的訓練タスクを導入することで、表現学習を強化すること。
• ハイパーリレーショナル文の割合が異なる多様なデータセットにおいて、一貫した性能向上を示すことを実証すること。

提案手法

• STAREのグラフニューラルネットワークモジュールを、レイヤー正規化とドロップアウトを含む、軽量なエンティティおよび関係埋め込み処理技術に置き換えることで、計算効率を向上させる。
• 欠落したエンティティを予測する補助的訓練目的を導入し、モデルが修飾子関係から学習する能力を強化する。
• Transformerエンコーダーが処理できるように、入力文をトークンのシーケンス（頭部エンティティ、関係、[MASK]、修飾子関係、修飾子エンティティ）にフラット化する。
• エンティティおよび関係埋め込みにレイヤー正規化とドロップアウトを適用し、トレーニングの安定性を高め、過学習を防止する。
• BERTに類似したマスク言語モデルアプローチを採用し、[MASK]トークンが主な三元組における欠落した頭部または末尾エンティティを表す。
• 主な予測損失と補助的修飾子予測損失の両方を組み合わせて、エンドツーエンドでモデルをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 STAREのGNNモジュールを軽量な埋め込み技術に置き換えることで、性能を損なわせずに計算効率を向上させることができるか？
• RQ2 欠落した修飾子エンティティを予測することを目的とした補助的訓練タスクを導入することで、ハイパーリレーショナル知識グラフの補完能力が向上するか？
• RQ3 ハイパーリレーショナル文の割合が異なる状況（すなわち、修飾子を含む文の割合が異なる状況）において、モデルの性能はいかがようか？
• RQ4 個々の埋め込み処理コンponents（例：レイヤー正規化、ドロップアウト）が最終的な性能に与える寄与度はどの程度か？
• RQ5 提案手法は、標準的なハイパーリレーショナルKG補完ベンチマークで最先端の結果を達成できるか？

主な発見

• Hy-Transformerは、WikiPeopleでMRR 0.501、JF17Kで0.582、WD50Kで0.356の新たな最先端MRRを達成し、3つのデータセットすべてでSTAREを上回った。
• 100%のハイパーリレーショナル文を含むWD50K (100) データセットでは、Hy-TransformerはMRR 0.699を達成し、STARE比で5.7%の向上を示した。
• 補助的訓練タスクにより、WD50K (33)、WD50K (66)、WD50K (100) でそれぞれMRRが3.3%、5.1%、5.7%向上した。特に修飾子を多く含む文の割合が高くなるほど、向上幅が大きくなった。
• アブレーションスタディの結果、エンティティ埋め込みのレイヤー正規化を削除するとMRRが6.6%低下し、性能安定性におけるその重要性が明確になった。
• エンティティ埋め込みのドロップアウトはMRRを4.0%向上させ、大規模なエンティティ埋め込みにおける過学習の緩和に有効であることが示された。
• GNNモジュールの排除により、Hy-TransformerはSTAREに比べて著しく効率的であり、大規模なハイパーリレーショナルKGにおけるトレーニングおよび推論が高速化された。