[論文レビュー] Realistic Re-evaluation of Knowledge Graph Completion Methods: An Experimental Study

Farahnaz Akrami, Mohammed Samiul Saeef+3 more|arXiv (Cornell University)|Mar 18, 2020

Advanced Graph Neural Networks参考文献 40被引用数 12

ひとこと要約

この論文は、FB15k、WN18、YAGO3-10などの標準ベンチマークから非現実的なデータアーティファクト—逆関係および重複関係—を同定・除去することで、知識グラフ補完（KGC）手法を再評価する。研究では、こうした冗長な関係を除去した場合、最先端の埋め込みモデル（例：RotatE、TuckER）の精度が著しく低下することが判明し、従来の性能向上は本質的な予測能力ではなく、主にデータ漏洩に起因していたことが示された。これにより、KGC分野における現在の評価手法の妥当性が揺るがされることになった。

ABSTRACT

In the active research area of employing embedding models for knowledge graph completion, particularly for the task of link prediction, most prior studies used two benchmark datasets FB15k and WN18 in evaluating such models. Most triples in these and other datasets in such studies belong to reverse and duplicate relations which exhibit high data redundancy due to semantic duplication, correlation or data incompleteness. This is a case of excessive data leakage---a model is trained using features that otherwise would not be available when the model needs to be applied for real prediction. There are also Cartesian product relations for which every triple formed by the Cartesian product of applicable subjects and objects is a true fact. Link prediction on the aforementioned relations is easy and can be achieved with even better accuracy using straightforward rules instead of sophisticated embedding models. A more fundamental defect of these models is that the link prediction scenario, given such data, is non-existent in the real-world. This paper is the first systematic study with the main objective of assessing the true effectiveness of embedding models when the unrealistic triples are removed. Our experiment results show these models are much less accurate than what we used to perceive. Their poor accuracy renders link prediction a task without truly effective automated solution. Hence, we call for re-investigation of possible effective approaches.

研究の動機と目的

• データの冗長性、特に逆関係および重複関係が知識グラフ補完（KGC）モデルの性能に与える影響を調査すること。
• FB15k や WN18 などの標準ベンチマークで高い性能を示すのは、主にデータ漏洩によるものであり、モデルの有効性によるものではないことを示すこと。
• 逆関係を除去することで現実的になったベンチマーク（例：FB15k-237、WN18RR、YAGO3-10-DR）を提案・評価すること。
• 正解が訓練データに存在しない場合に正しく予測された事項を罰する現在の評価指標の妥当性を疑うこと。
• リンク予測に現実的条件下で真に効果的な自動手法が存在しないことを主張し、KGC手法の再評価を呼びかけること。

提案手法

• 著者らは、FB15k および WN18 から逆トリプル（例：(h,r,t) と (t,r⁻¹,h)）を体系的に同定・除去し、新たなベンチマークである FB15k-237 と WN18RR を作成した。
• また、YAGO3-10 における重複関係（例：isAffiliatedTo と playsFor）を同定・除去し、YAGO3-10-DR を作成することで、カルテシアン積に類似した冗長性を排除した。
• 標準指標（FHits@1 および FMRR）を用いて、複数のKGCモデル（TransE、RotatE、TuckER、AMIE）を、元のベンチマークおよびクリーンアップ済みベンチマークで評価した。
• 逆トリプル統計に基づく単純なルールベースモデルを構築し、基本的な統計が複雑な埋め込みモデルを上回る可能性を検証した。
• 関係タイプごとのアブレーションスタディ（1対1、1対多、多対1、多対多）を実施し、異なる関係パターンにおけるモデルの挙動を分析した。
• 異なるデータセットおよび指標間での性能を比較し、標準的評価と現実的評価の間の乖離を強調した。

実験結果

リサーチクエスチョン

• RQ1 FB15k および WN18 における逆関係は、KGCモデルの性能をどの程度誇張しているか？
• RQ2 逆トリプル密度の高いデータセットにおいて、単純なルールベースモデルが複雑な埋め込みモデルを上回ることができるか？
• RQ3 非現実的な関係を標準ベンチマークから除去した場合、FHits@1 や FMRR などの性能指標はどのように変化するか？
• RQ4 RotatE や TuckER などの埋め込みモデルは、FB15k-237 や WN18RR といった現実的でクリーンなデータセットでも有効性を保っているか？
• RQ5 逆関係および重複関係に起因するデータ漏洩のため、現在の評価手法は誤解を招いているのではないか？

主な発見

• FB15k の訓練およびテストセットでは70%のトリプルが逆ペアを形成しており、WN18 のテストセットでは92.5%のトリプルが訓練セットに逆対応するトリプルを有している。これは、極めて大きなデータの冗長性を示している。
• 単純なルールベースモデルは、FB15k で71.6% の FHits@1、WN18 で96.4% の FHits@1 を達成し、逆トリプル統計に依存することで、複雑な埋め込みモデルを上回った。
• 逆関係および重複関係を除去した後、すべての埋め込みモデルの性能が FB15k-237 および WN18RR で著しく低下した。ただし、RotatE と TuckER が最も優れた性能を示した。
• 重複関係を除去した YAGO3-10-DR では、AMIE が FHits@1 および FMRR で埋め込みモデルを上回り、ルールベース手法が現実的データにおいてより効果的である可能性を示した。
• 正解が訓練データに存在しない場合に、FHits@1 や FMRR は正しく予測された事項を罰するため、これら指標は誤解を招くことがある。
• 結果として、現在のKGCモデルは現実的条件下では頑健ではなく、データアーティファクトが除去された状況では、リンク予測に真に効果的な自動手法が存在しないことが示された。