[論文レビュー] Can we Fix the Scope for Coreference? Problems and Solutions for Benchmarks beyond OntoNotes

Amir Zeldes|arXiv (Cornell University)|Dec 17, 2021

Natural Language Processing Techniques被引用数 4

ひとこと要約

この論文は、OntoNotes のコアフレンスベンチマークが、定義性や補助動詞構文などの形態句的手がかりに過度に依存していること、および一般化、不定代名詞の後続参照、述語性といった重要な現象が除外されていることにより、意味的および多言語的制限を受けると主張している。本稿では、意味に基づく、スコープを分離したコアフレンスアノテーションへの移行を提案し、多言語的・多ドメインのNLPタスクにおける信頼性と適用可能性を高めるために、より広範かつ柔軟なアノテーション基準の導入を提唱している。

ABSTRACT

Current work on automatic coreference resolution has focused on the OntoNotes benchmark dataset, due to both its size and consistency. However many aspects of the OntoNotes annotation scheme are not well understood by NLP practitioners, including the treatment of generic NPs, noun modifiers, indefinite anaphora, predication and more. These often lead to counterintuitive claims, results and system behaviors. This opinion piece aims to highlight some of the problems with the OntoNotes rendition of coreference, and to propose a way forward relying on three principles: 1. a focus on semantics, not morphosyntax; 2. cross-linguistic generalizability; and 3. a separation of identity and scope, which can resolve old problems involving temporal and modal domain consistency.

研究の動機と目的

• OntoNotes のコアフレンスアノテーション方式における主な制限要因を特定・批判すること、特に定義性や補助動詞構文といった形態句的手がかりへの過度な依存を対象とする。
• 一般化、不定代名詞の後続参照、述語性といった現象が除外されることによって、システムの直感的でない挙動や実用的有用性の低下が生じることを強調すること。
• 文法ではなく意味に基づいたアノテーション基準に立脚する新しいコアフレンスアノテーション基準の確立を提唱することにより、より良い多言語的一般化可能性と多言語的適用性を実現すること。
• コアフレンス解決における同一性とスコープの分離を推進し、時間的・モーダル的・話法的意味的ドメインにおけるより洗練されたモデリングを可能にすること。
• 特に高度なNLPアプリケーションを想定した場合に、制限的な ON 標準ではなく、GUM や ARRAU のような包括的で柔軟なアノテーション方式の採用を促すこと。

提案手法

• 文法的特徴ではなく意味的参照を重視する、意味に基づいたコアフレンスアノテーションへの移行を提唱し、定義性や補助動詞構文といった形態句的形態よりも参照意味を優先すること。
• コアフレンス同一性とスコープの分離の原則を導入し、時間的・モーダル的・話法的意味的ドメインを独立してモデリングできるようにすること。
• 従来除外されていた現象（一般化、不定代名詞の後続参照、述語性など）を、コアフレンスアノテーション内での別種のサブタイプとして含めるべきであると提唱すること。
• GUM や ARRAU のような既存のマルチレイヤー語彙をモデルとして用い、より広範かつ柔軟なアノテーションが可能であることを示し、必要に応じてそれらのデータを ON 形式に変換可能であることを示すこと。
• Universal Dependencies などの取り組みを参考にし、言語や話法タイプを問わず一貫性のあるコアフレンスのユニバーサル基準の開発を支援すること。
• 合成構造の除去や同格修飾の再フォーマットなど、データ操作のための文法的構造を活用し、異なるアノテーション方式との整合性を容易にすること。

実験結果

リサーチクエスチョン

• RQ1 なぜ OntoNotes で学習したコアフレンスシステムは、一般化、不定代名詞の後続参照、補助動詞の述語性処理において直感的でない結果を示すのか？
• RQ2 コアフレンスアノテーションは、英語を超えて多言語的整合性と適用可能性を高めるために、どのように改革されるべきか？
• RQ3 現在のベンチマークで参照性認識とコアフレンス解決を混同することで、どのような影響が生じるのか？
• RQ4 コアフレンスアノテーションにおいて、スコープと同一性を意味的に分離することは、どの程度モデルの解釈可能性と性能向上に寄与するのか？
• RQ5 信頼性を損なわせることなく、形態句的形態よりも意味的参照を優先するように、アノテーションガイドラインをどのように再構築できるか？

主な発見

• OntoNotes のアノテーション方式は、一般化、不定代名詞の後続参照、述語性といった重要な現象を除外しており、高水準の合意率にもかかわらず、一貫性のない直感的でないシステム挙動を引き起こしている。
• OntoNotes で学習したシステムは、繰り返し現れる不定形名詞句や一般化された名詞句の参照の一貫性を認識できないことが多く、意味的に整合性があるにもかかわらずである。
• 定義性や補助動詞構文といった形態句的手がかりへの依存は、コアフレンスシステムの他の言語や非英語語彙への移植性を制限している。
• コアフレンス解決における同一性とスコープの分離により、時間的・モーダル的ドメインの一貫性のより正確なモデリングが可能となり、長年のインターフェース問題が解決される。
• GUM や ARRAU のような語彙は、より広範かつ意味に基づいたアノテーション方式が実現可能で、ON 形式の制限よりも情報量が多いことを示している。
• GUM を ON 形式（例：OntoGUM）に変換することは可能で有用であるが、ON に欠落している現象を追加することは、初期段階から包括的なアノテーションを採用するよりもはるかに困難である。