[論文レビュー] Knowledge Base Completion: Baseline strikes back (Again)

Prachi Jain, Sushant Rathi+2 more|arXiv (Cornell University)|May 2, 2020

Advanced Graph Neural Networks参考文献 18被引用数 6

ひとこと要約

本稿では、全負例サンプリングを用いたComplExモデルの訓練——いわゆるComplex-V2——が、複数のKBCベンチマークで最先端またはそのに近い性能を達成することを示している。1-Nスコアリングと効率的なベクトル化評価を活用することで、構造的変更なしに優れた精度が得られ、複雑な新しいモデル設計の必要性を疑問視し、今後のKBC研究の基準を再定義する。

ABSTRACT

Knowledge Base Completion (KBC) has been a very active area lately. Several recent KBCpapers propose architectural changes, new training methods, or even new formulations. KBC systems are usually evaluated on standard benchmark datasets: FB15k, FB15k-237, WN18, WN18RR, and Yago3-10. Most existing methods train with a small number of negative samples for each positive instance in these datasets to save computational costs. This paper discusses how recent developments allow us to use all available negative samples for training. We show that Complex, when trained using all available negative samples, gives near state-of-the-art performance on all the datasets. We call this approach COMPLEX-V2. We also highlight how various multiplicative KBC methods, recently proposed in the literature, benefit from this train-ing regime and become indistinguishable in terms of performance on most datasets. Our work calls for a reassessment of their individual value, in light of these findings.

研究の動機と目的

• 古いがよく知られたKBCモデルが、改善された訓練手法を用いることで最先端の性能を達成できるかどうかを調査すること。
• 大規模な負例サンプリングが、リソース制約下の環境においてもモデル性能に与える影響を評価すること。
• 近年のKBCモデルアーキテクチャの価値を疑問視し、性能向上の要因がアーキテクチャ的革新ではなく訓練手法の改善にある可能性を示すこと。
• 今後のKBC研究の強力で再現可能な基準としてComplex-V2を確立すること。

提案手法

• 著者らは、訓練中に全エンティティを負例として使用する訓練手法——Complex-V2と呼ぶ——を用いてComplExモデルを再訓練した。
• 対照的損失の効率的でベクトル化された計算を可能にするために、1-Nスコアリング——特定の主語・関係ペアに対して、すべての可能な目的エンティティを評価する——を採用した。
• 1-Nスコアリングがメモリを多く消費するRotatEのようなモデルでは、複数のバッチにわたる勾配蓄積を用いて、全負例を含む訓練をシミュレートした。
• 主にMRR（平均逆順位）を指標として用い、FB15k、WN18、YAGO3-10、FB15k-237、WN18RRの各データセットで性能を比較した。
• 負例サイズが性能に与える影響を分析し、正例1つあたり約2,000個の負例でMRRが安定することを示した。
• RotatE や SimplE などの他のモデルに対しても、同様の大規模負例サンプル訓練を適用し、それぞれ RotatE-V2 および SimplE-V2 と呼んだ。

実験結果

リサーチクエスチョン

• RQ1 1つの単純でよく知られたモデル、例えばComplExが、全負例サンプリングで訓練された場合に最先端の性能を達成できるか？
• RQ2 両者ともに大規模負例サンプル訓練を適用した場合、最近のKBCモデルと古いモデルとの間の性能差は縮小するか？
• RQ3 近年のKBCモデルにおけるアーキテクチャ的革新が、性能向上に果たす貢献度は、改善された訓練手法に比べてどの程度か？
• RQ4 勾配蓄積を用いることで、1-Nスコアリングにあまり適さないモデル（例：RotatE）に対しても大規模負例サンプリングが実現可能になるか？
• RQ5 Complex-V2は、今後のKBCモデル評価のための実用的で優れた基準となるか？

主な発見

• 全エンティティを負例として使用して訓練されたComplex-V2は、FB15k、WN18、YAGO3-10、FB15k-237、WN18RRの全評価データセットで最先端またはそのに近い性能を達成した。
• FB15kでは、負例数が増えるにつれてMRRが著しく向上し、正例1つあたり約2,000個の負例で安定した。
• 勾配蓄積を用いて全エンティティを負例として使用して訓練されたRotatE-V2は、標準的な256個の負例を使用した訓練と比較して、FB15k、FB15k-237、YAGO3-10でMRRが最大3ポイント向上した。
• TransEとRotatEのL1ノルムからL2ノルムに切り替えると、それぞれMRRが7.8ポイントおよび6.5ポイント低下し、これらのモデルではL2ノルムを用いたベクトル化対照的損失は現実的でなくなった。
• Complex-V2と最近のSOTAモデルとの間の性能差は、ほとんどないか、まったくないことが示され、アーキテクチャの新規性が性能向上の主な要因ではない可能性を示唆した。
• 本研究は、Complex-V2がKBC分野における新しい基準であるべきだと結論づけ、今後の新しいモデルが実証的価値を示すには、Complex-V2を上回る必要があると結論づけた。