[論文レビュー] A Re-evaluation of Knowledge Graph Completion Methods

Zhiqing Sun, Shikhar Vashishth+3 more|arXiv (Cornell University)|Nov 10, 2019

Advanced Graph Neural Networks参考文献 30被引用数 6

ひとこと要約

この論文は、最近のニューラルネットワークベースの知識グラフ補完（KGC）手法が、スコア関数に偏りを持つモデルに有利に働く不適切な評価プロトコルに起因して、誇張された性能を報告していることを特定している。著者らは、スコアの同率がランダムに解消される「Random」という耐性のある評価プロトコルを提案し、公平で一貫性があり現実的な性能比較を保証する。このプロトコルでは、以前に報告された一部のモデルの高い性能向上が消失することが示された。

ABSTRACT

Knowledge Graph Completion (KGC) aims at automatically predicting missing links for large-scale knowledge graphs. A vast number of state-of-the-art KGC techniques have got published at top conferences in several research fields, including data mining, machine learning, and natural language processing. However, we notice that several recent papers report very high performance, which largely outperforms previous state-of-the-art methods. In this paper, we find that this can be attributed to the inappropriate evaluation protocol used by them and propose a simple evaluation protocol to address this problem. The proposed protocol is robust to handle bias in the model, which can substantially affect the final results. We conduct extensive experiments and report the performance of several existing methods using our protocol. The reproducible code has been made publicly available

研究の動機と目的

• 最近のニューラルネットワークベースのKGC手法がベンチマークデータセットで異常に高い性能向上を報告する理由を調査すること。
• その根本的要因が、スコア関数に偏りを持つモデルに有利に働く不適切な評価プロトコルにあることを同定すること。
• スコア関数の複雑さやバイアスに関係なく、モデルを公平に比較できる新しい、耐性のある評価プロトコルを提案すること。
• 提案されたプロトコルを用いて最先端のKGC手法を再評価し、過去の結果における性能の誇張を明らかにすること。
• Random評価プロトコルの採用を促進し、KGCベンチマーク評価の新しい基準としての公平性と信頼性を確保すること。

提案手法

• スコアが同率の場合にランダムに解消される「Random」という新しい評価プロトコルを提案し、公平性と現実性を確保する。
• 既存の評価方法におけるバイアスを示すために、「Top」と「Bottom」の2つの代替プロトコルを導入する。
• 実世界の状況で同率の予測がランダムに解消されることを反映するため、『Random』プロトコルをゴールドスタンダードとして採用する。
• FB15k-237およびWN18RRで、6つの最近のKGC手法（ConvKB、CapsE、KBAT、TransGate、RotatE、TuckER、ConvE）を新しいプロトコルで再評価する。
• KBATの元の実装におけるデータリークの問題を修正し、妥当な比較を保証する。
• 各モデルごとに5回のランダムシード実行を実施し、安定性を評価し、平均値±標準偏差を報告して信頼性を確保する。

実験結果

リサーチクエスチョン

• RQ1 なぜ最近提案されたニューラルネットワークベースのKGC手法が、以前の最先端手法よりも顕著に高い性能を報告するのか？
• RQ2 報告された性能向上の程度が、モデルの改善ではなく評価プロトコルの欠陥に起因する割合はどの程度か？
• RQ3 異なる評価プロトコル（Top、Bottom、Random）がKGCモデルの性能ランクにどのように影響するか？
• RQ4 スコア関数バイアスに対して公平で耐性のある新しい評価プロトコルを設計できるか？
• RQ5 CapsE や KBAT といったモデルが、以前に報告された高い性能向上が公平な評価プロトコル下でも依然として成立するか？

主な発見

• Top評価プロトコルは、スコア関数に偏りを持つモデルに不適切に有利に働くため、性能が誇張される。
• Bottom評価プロトコルは、スコアが同率になるモデルを不公正に罰するため、過剰に悲観的な性能推定をもたらす。
• 提案されたRandom評価プロトコル下で、CapsEのFB15k-237におけるMRRは0.523から0.421に低下し、過去の結果における顕著な性能誇張が示された。
• KBATはRandomプロトコル下でFB15k-237で0.518から0.401に性能低下を示し、元の実装におけるデータリークがさらに結果を歪めている。
• 影響を受けないモデル（ConvE、RotatE、TuckER）は、すべてのプロトコルで一貫した性能を示し、その耐性を確認した。
• Randomプロトコルは複数のランダムシードで安定しており、変動が小さく（例：MRR ±0.005）、ベンチマーク評価に信頼性があることを確認した。