[論文レビュー] Ranking vs. Classifying: Measuring Knowledge Base Completion Quality

Marina Speranskaya, Martin Schmitt+1 more|arXiv (Cornell University)|Feb 2, 2021

Topic Modeling被引用数 4

ひとこと要約

本論文は、知識ベース補完（KBC）のための新しい分類ベースの評価パラダイムを提案する。従来のランク付けベースの指標の限界を克服することを目的としている。エンティティの削除や型制約によって真の答えが欠落したクエリを含むFB14k-QAQデータセットを構築することで、ランク付け性能に優れるモデルが、現実世界の事実予測において必ずしも良好に一般化するわけではないことを実証した。関係固有の領域を導入した変更版TransEモデルは、標準のTransEと比較してF1スコアを30%以上向上させた。これは、KBCモデルにおける予測分離性の向上が不可欠であることを示している。

ABSTRACT

Knowledge base completion (KBC) methods aim at inferring missing facts from the information present in a knowledge base (KB) by estimating the likelihood of candidate facts. In the prevailing evaluation paradigm, models do not actually decide whether a new fact should be accepted or not but are solely judged on the position of true facts in a likelihood ranking with other candidates. We argue that consideration of binary predictions is essential to reflect the actual KBC quality, and propose a novel evaluation paradigm, designed to provide more transparent model selection criteria for a realistic scenario. We construct the data set FB14k-QAQ where instead of single facts, we use KB queries, i.e., facts where one entity is replaced with a variable, and construct corresponding sets of entities that are correct answers. We randomly remove some of these correct answers from the data set, simulating the realistic scenario of real-world entities missing from a KB. This way, we can explicitly measure a model's ability to handle queries that have more correct answers in the real world than in the KB, including the special case of queries without any valid answer. The latter especially contrasts the ranking setting. We evaluate a number of state-of-the-art KB embeddings models on our new benchmark. The differences in relative performance between ranking-based and classification-based evaluation that we observe in our experiments confirm our hypothesis that good performance on the ranking task does not necessarily translate to good performance on the actual completion task. Our results motivate future work on KB embedding models with better prediction separability and, as a first step in that direction, we propose a simple variant of TransE that encourages thresholding and achieves a significant improvement in classification F1 score relative to the original TransE.

研究の動機と目的

• ランク付けベースのKBC評価と現実世界の事実予測の間の乖離を是正すること。特に、モデルが新規事実の受容・拒否を判断する必要がある状況を想定する。
• ランク付け性能を重視するが、二値分類の正確性を軽視する現在の評価パラダイムの欠陥を特定すること。
• エンティティ欠落や型制約違反により有効な答えがないクエリを含む、現実的なベンチマークを開発すること。
• より優れた予測分離性と内蔵されたしきい値設定能力を持つKBCモデルの研究を促進すること。
• 実際の展開状況を反映する分類中心の新しい指標を用いて、最先端モデルの性能を評価すること。

提案手法

• 知識ベースのクエリにおけるエンティティを変数に置き換え、一部の正しい答えを削除することで、FB14k-QAQデータセットを構築する。これは現実世界の欠落データを模倣するためである。
• 2種類のネガティブクエリを生成する：(1) 削除されたエンティティにより有効な答えがないクエリ、(2) 型制約に違反するクエリ。
• 得られたテストセットに対して二値分類指標（特にF1スコア）を用い、モデルの真の事実と偽の事実を区別する能力を評価する。
• 埋め込み空間に関係固有の楕円領域を定義するための関係固有の対角行列を用いた、変更版のTransEモデル「Region」を導入。これにより、より良い予測分離性が実現される。
• Regionモデルの距離関数に基づくしきい値設定機構を導入し、スコアを二値予測に変換する。
• グローバルおよび複数の関係固有のしきい値を用いてモデルを評価し、関係間での頑健性と一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 MRRなどのランク付けベースの指標で高い性能を示すモデルが、二値受容／拒否意思決定を要する現実世界の知識ベース補完においても信頼できる性能を発揮するとは限らないのか？
• RQ2 エンティティが欠落しているなどして有効な答えがないクエリを含む分類ベースのベンチマークで、最先端のKBCモデルはどの程度の性能を示すのか？
• RQ3 予測分離性を高める単純なTransEの修正が、分類性能を顕著に向上させられるか？
• RQ4 現在のスコア関数が、関係間で一貫したしきい値設定をサポートできない程度の限界をどこまで示しており、それがモデルの信頼性にどのように影響するか？
• RQ5 グローバルと複数のしきい値設定の間の性能差は、KBCモデルのスケーラビリティと頑健性をどの程度反映しているのか？

主な発見

• 関係固有の領域を導入した変更版のTransEモデル「Region」は、グローバルしきい値を用いる場合に標準のTransEと比較してF1スコアを32.4%相対的に向上させ、複数のしきい値を用いる場合には36.8%の向上を達成した。
• ランク付け指標と分類指標の間には顕著な性能差が存在する。MRR値が高いモデルでもF1スコアが低い傾向にあり、ランク付けの成功が信頼できる事実予測を意味するわけではないことが示された。
• 最大の性能向上は、有効な答えがないクエリ（例：エンティティ欠落）に対して観察された。これは、新しいベンチマークが一般化能力の欠陥を効果的に露呈していることを示している。
• ランク付けパラダイムに基づいて学習されたモデルは、しばしば良好にキャリブレーションされないスコアを出力するため、関係全体にわたるグローバルしきい値設定が困難かつ信頼性に欠ける。
• 予測分離性の向上（例：Regionモデルのようなアーキテクチャ的修正）が、頑健で実用可能なKBCシステムを構築するために不可欠であることが確認された。
• 新しい評価フレームワークは、現在のモデルが実際のタスク、すなわち単なるランク付けではなく信頼できる二値意思決定を要する事実補完を最適化していないことを明らかにした。