[論文レビュー] Revisiting DocRED -- Addressing the False Negative Problem in Relation Extraction

Qingyu Tan, Lu Xu+3 more|arXiv (Cornell University)|May 25, 2022

Natural Language Processing Techniques被引用数 8

ひとこと要約

この論文は、文書レベルの関係抽出におけるドキュメントレッド（DocRED）データセットの広範な偽陰性問題を特定し、反復的な人間主導のプロセスを通じて4,053ドキュメントを再アノテーションすることで解決した。その結果、Re-DocREDと呼ばれる改訂版データセットが得られた。Re-DocREDで訓練および評価されたモデルは、元のDocREDと比較して13 F1ポイントの性能向上を達成しており、不完全なアノテーションがモデル性能を著しく制限していることを示している。

ABSTRACT

The DocRED dataset is one of the most popular and widely used benchmarks for document-level relation extraction (RE). It adopts a recommend-revise annotation scheme so as to have a large-scale annotated dataset. However, we find that the annotation of DocRED is incomplete, i.e., false negative samples are prevalent. We analyze the causes and effects of the overwhelming false negative problem in the DocRED dataset. To address the shortcoming, we re-annotate 4,053 documents in the DocRED dataset by adding the missed relation triples back to the original DocRED. We name our revised DocRED dataset Re-DocRED. We conduct extensive experiments with state-of-the-art neural models on both datasets, and the experimental results show that the models trained and evaluated on our Re-DocRED achieve performance improvements of around 13 F1 points. Moreover, we conduct a comprehensive analysis to identify the potential areas for further improvement. Our dataset is publicly available at https://github.com/tonytan48/Re-DocRED.

研究の動機と目的

• 文書レベルの関係抽出におけるベンチマーク評価の信頼性を損なう、広範な偽陰性問題を特定し、それに対処すること。
• 初期の遠隔監視とアノテーションプロセスにおける関係トリプルの漏れを回復することで、DocREDにおける関係アノテーションの完全性を向上させること。
• ドキュメント内の関係の真の分布をよりよく反映する、より高品質な改訂版ベンチマークデータセット（Re-DocRED）を提供すること。
• テストセットを可能な限り完全に保つことで、最先端の関係抽出モデルの公平で信頼性の高い評価を可能にすること。

提案手法

• 複数の最先端の文書レベルREモデルが各ドキュメントの関係候補を事前に生成した後、反復的な人間主導のアノテーションプロセスを実施した。
• 人間のアノテーターがモデルが提案した関係トリプルをレビュー・検証し、元のDocREDに存在しなかったが漏れてしまった関係を回復することに焦点を当てた。
• 特に、テキスト内に証拠はあるがWikidata知識ベース（KB）に存在しない関係について、モデルの信頼度が高いドキュメントを優先した。
• 改訂版データセットRe-DocREDは、元のDocREDと比較してほぼ2倍の関係トリプルを含んでおり、Wikidata KBの欠落や人間によるアノテーションの穴を是正することに注力している。
• 最先端のモデルを用いて、DocREDおよびRe-DocREDの両方で広範なアブレーション実験と比較実験を実施し、アノテーション品質の向上がもたらす影響を検証した。

実験結果

リサーチクエスチョン

• RQ1 元のDocREDデータセットにおける偽陰性エラーの範囲と影響はどの程度で、それがモデル評価および性能にどのように影響を及えるか？
• RQ2 モデルが提案したトリプルを人間主導で再アノテーションすることで、文書レベルの関係抽出における偽陰性問題をどの程度軽減できるか？
• RQ3 Re-DocREDのような改訂済みでより完全なデータセットで訓練・評価された場合、最先端の関係抽出モデルの性能はどのように変化するか？
• RQ4 偽陰性の主な原因は何か？また、Wikidataのスパarsity（スパarsity）と、recommend-reviseアノテーション方式の限界が、それらの原因にどのように関与しているか？

主な発見

• 元のDocREDデータセットは深刻な偽陰性問題を抱えており、特にWikidataに存在しない関係トリプル（例：音楽関連ドキュメントにおける「プロデューサー」）がアノテーション段階で漏れ出されている。
• 改訂版データセットRe-DocREDは、元のDocREDと比較してほぼ2倍の関係トリプルを含んでおり、アノテーションの完全性が著しく向上している。
• Re-DocREDで訓練および評価されたモデルは、元のDocREDで訓練・評価した場合と比較して平均で13 F1ポイントの向上を達成している。
• Re-DocREDにおけるモデル間の性能差が小さくなっていることから、改訂版ベンチマークが真のモデル一般化能力をよりよく反映していることが示された。
• 誤差解析の結果、多くの偽陰性は、特に「プロデューサー」のような関係について、Wikidataにエントリが存在しないことが主な原因であることが判明した。文書の文脈から推論可能ではあるが、KBに紐づけられていない。
• 本研究では、不完全な評価セットがモデル評価を曖昧にし、高品質で人間が検証済みのベンチマークが、文書レベルの関係抽出分野における信頼できる進歩を実現するために不可欠であることを示した。