[論文レビュー] BenchIE: Open Information Extraction Evaluation Based on Facts, Not Tokens.

Kiril Gashteovski, Mingying Yu+4 more|arXiv (Cornell University)|Sep 14, 2021

Natural Language Processing Techniques参考文献 24被引用数 10

ひとこと要約

BenchIEは、意味的に同等の抽出をクラスタ化した事実シングレット（fact synsets）を用いる、事実ベースの評価フレームワークを提唱する。これにより、従来のトークンレベルのベンチマークに起因する限界を克服する。英語、中国語、ドイツ語の3言語で評価された結果、最先端のOIEシステムは、従来の報告よりも著しく効果が低いことが判明。これは、既存のベンチマークに不完全な正解データが含まれているためである。

ABSTRACT

Intrinsic evaluations of OIE systems are carried out either manually -- with human evaluators judging the correctness of extractions -- or automatically, on standardized benchmarks. The latter, while much more cost-effective, is less reliable, primarily because of the incompleteness of the existing OIE benchmarks: the ground truth extractions do not include all acceptable variants of the same fact, leading to unreliable assessment of models' performance. Moreover, the existing OIE benchmarks are available for English only. In this work, we introduce BenchIE: a benchmark and evaluation framework for comprehensive evaluation of OIE systems for English, Chinese and German. In contrast to existing OIE benchmarks, BenchIE takes into account informational equivalence of extractions: our gold standard consists of fact synsets, clusters in which we exhaustively list all surface forms of the same fact. We benchmark several state-of-the-art OIE systems using BenchIE and demonstrate that these systems are significantly less effective than indicated by existing OIE benchmarks. We make BenchIE (data and evaluation code) publicly available.

研究の動機と目的

• 既存のOIEベンチマークの信頼性の低さ（不完全な正解データとトークンレベルの評価）を是正すること。
• 意味的に同一の事実をグループ化した事実シングレットとして、抽出の情報的同等性を反映する包括的な評価フレームワークを構築すること。
• 英語にとどまらず、中国語およびドイツ語を含めた多言語へのOIE評価を拡張し、多言語間比較を可能にすること。
• 再現可能で信頼性のあるOIEシステム評価を支援するため、公開用ベンチマークおよび評価コードを提供すること。

提案手法

• 各事実を、その事実の許容可能な表層形のすべてを含むシングレットとして表現する正解データを構築する。
• 意味的一致性に基づき、抽出同士の情報的同等性を定義し、同一の事実のすべてのバリエーションをグループ化する。
• 個々のトークンではなく、正しい事実シングレットへのマッチングを基準に、システムのパフォーマンスを測定する評価プロトコルを設計する。
• 英語、中国語、ドイツ語のテキスト間で事実シングレットをキュレートおよびアライメントすることで、多言語用途に適応したフレームワークを構築する。
• トークンの重複ではなく、事実シングレットのマッチングに基づいて、精度、再現率、F1スコアを計算する評価パイプラインを実装する。
• BenchIEを公開データセットおよびコードベースとしてリリースし、標準化され信頼性の高いOIE評価を支援する。

実験結果

リサーチクエスチョン

• RQ1 既存のOIEベンチマークは、同一の事実について許容可能な抽出の範囲をどれほど不完全に捉えているか？
• RQ2 トークンベースのベンチマークと比較して、事実ベースのベンチマークで評価された際、最先端のOIEシステムはどの程度性能を発揮しないのか？
• RQ3 英語、中国語、ドイツ語の3言語をカバーする多言語OIE評価フレームワークを、効果的に構築できるか？
• RQ4 評価に情報的同等性を組み込むことで、OIEシステムの評価の信頼性はどの程度向上するか？
• RQ5 包括的で事実中心のベンチマークで評価した場合、現在のOIEモデルの真のパフォーマンスはどの程度か？

主な発見

• 最先端のOIEシステムは、BenchIEでは従来のベンチマークで報告された値よりも著しく性能が低い。これは、従来の評価がモデルの有効性を高めすぎていたことを示唆する。
• 既存のOIEベンチマークは不完全であり、同一の事実の多くの有効な表層形を欠落させており、これが信頼性の低いパフォーマンス推定を引き起こしている。
• BenchIEの事実シングレットは、トークンレベルの正解データよりも、許容可能な抽出の範囲を広くかつ正確に捉えている。
• BenchIEの多言語設計により、英語、中国語、ドイツ語間で一貫した評価が可能となり、多言語的分析が可能になった。
• ベンチマークの結果から、同じ事実が複数の形で表現されても、現在のOIEシステムは文法的変異や意味的同等性に対応できていないことが明らかになった。
• BenchIEの事実中心の評価は、従来のトークンベースの指標よりも信頼性が高く意味のあるパフォーマンス比較を可能にする。