[論文レビュー] PreCo: A Large-scale Dataset in Preschool Vocabulary for Coreference Resolution

Hong Chen, Zhenhua Fan+3 more|arXiv (Cornell University)|Oct 23, 2018

Topic Modeling参考文献 17被引用数 3

ひとこと要約

本稿では、高訓練-テスト重複度（0.8%のOOV 対 OntoNotes の 2.1%）、1240万語、および単一参照表現（singleton mentions）のアノテーションを備えた、コアリソリューションに特化した大規模な、保育所レベルの語彙を対象としたデータセット PreCo を紹介する。このデータセットは、より効率的な誤差分析を可能にするとともに、参照表現検出の影響を定量的に評価でき、参照表現クラスタリングがコアリソリューションにおける主なボトルネックのままであることが明らかになった。最先端モデルは PreCo で 81.5 F1 を達成したが、人間の性能は 87.9 であった。

ABSTRACT

We introduce PreCo, a large-scale English dataset for coreference resolution. The dataset is designed to embody the core challenges in coreference, such as entity representation, by alleviating the challenge of low overlap between training and test sets and enabling separated analysis of mention detection and mention clustering. To strengthen the training-test overlap, we collect a large corpus of about 38K documents and 12.4M words which are mostly from the vocabulary of English-speaking preschoolers. Experiments show that with higher training-test overlap, error analysis on PreCo is more efficient than the one on OntoNotes, a popular existing dataset. Furthermore, we annotate singleton mentions making it possible for the first time to quantify the influence that a mention detector makes on coreference resolution performance. The dataset is freely available at https://preschool-lab.github.io/PreCo/.

研究の動機と目的

• 既存のコアリソリューションデータセットの限界、特に低い訓練-テスト重複度と単一参照表現のアノテーションの欠如を解決すること。
• 訓練セットとテストセットの重複度を高めることで、コアリソリューションにおける誤差分析の効率性と正確性を向上させること。
• 単一参照表現のアノテーションを通じて、参照表現検出の影響がコアリソリューション性能に与える影響を初めて定量的評価すること。
• データ分布のシフトからコアリソリューションの主な課題をより明確に分離できるように、スケーラブルで高重複度のデータセットを提供すること。
• より信頼性の高いモデル評価とベンチマークを可能にする公開で大規模なデータセットを提供することで、さらなる研究を促進すること。

提案手法

• 著者らは、中国の中高生向け英語読解テストから 38,000 件のドキュメントを収集した。これらのドキュメントは保育所レベルの語彙に制限されており、訓練セットとテストセット間で高い語彙的重複度を確保している。
• データセットは 1,240 万語を含み、OntoNotes の約 10 倍の規模であり、非常に低い OOV 率（0.8%）を有しており、データ分布のシフトを著しく低減している。
• 単一参照表現（他のどの参照表現ともコアリソースでないもの）が明示的にアノテートされており、これにより参照表現検出性能の別個評価が可能になった。
• 著者らは、最先端のコアリソリューションモデル（例：E2E-Coref, EE2E-Coref）を PreCo に適用し、オラクル参照表現検出器を用いたさまざまな条件での性能を比較した。
• 訓練-テスト重複度とそのモデル性能への影響を定量化するために、OOV 率と LFW（低頻度語）率を指標として用いた。
• 誤差分析は、訓練-開発セット間の重複度が異なるサブセットにおけるモデル性能の比較を通じて実施され、重複度と性能の相関関係が示された。

実験結果

リサーチクエスチョン

• RQ1 高い訓練-テスト重複度は、コアリソリューションにおける誤差分析の効率性と正確性にどのように影響するか？
• RQ2 参照表現検出は、最先端モデルと人間性能との間の全体的な性能ギャップにどの程度寄与しているか？
• RQ3 単一参照表現のアノテーションの導入は、参照表現検出システムの評価と訓練にどのように改善をもたらすか？
• RQ4 参照表現検出と参照表現クラスタリングの両者が、全体のコアリソリューション性能ギャップに果たす相対的寄与度は何か？
• RQ5 PreCo の高い重複度と大規模さは、OntoNotes と比較して、信頼性の高いモデル評価とベンチマークの実現にどの程度寄与するか？

主な発見

• PreCo は OOV 率 0.8% を達成しており、これは OntoNotes の 2.1% の約 1/3 に相当し、訓練-テスト重複度が著しく向上し、より信頼性の高い誤差分析が可能になった。
• 最先端モデルである EE2E-Coref は PreCo で F1 スコア 81.5 を達成したが、人間の性能は 87.9 であり、コアリソリューションが依然として困難なタスクであることが示された。
• オラクル参照表現検出器を用いた場合、モデルの F1 スコアは 77.3 から 81.6 に上昇した。これは、参照表現検出が性能ギャップに寄与しているが、主なボトルネックではないことを示している。
• 残りの 18.4 F1 ポints（100 F1 スコアの 100 に対する差）は、参照表現クラスタリングに起因しており、検出ではなくクラスタリングが主な課題であることが示された。
• PreCo の LFW 率（12.3%）は、OntoNotes の 34.8% より著しく低く、OntoNotes と同等のサイズの PreCo サブセットでは LFW 率が 33.0% にとどまり、PreCo が低頻度現象に起因するノイズを低減していることが確認された。
• 本研究では、訓練-開発セット間の重複度とコアリソリューション性能との間に強い正の相関関係があることが確認され、高い重複度がモデル評価の効率性を向上させることを裏付けた。