[論文レビュー] ezCoref: Towards Unifying Annotation Guidelines for Coreference Resolution

Ankita Gupta, Marzena Karpinska+6 more|arXiv (Cornell University)|Oct 13, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

ezCorefは、簡素化されたチュートリアルとツールを備えた、クラウドソーシングに適した共参照アノテーションフレームワークを導入し、7つの英語データセットから再アノテートされた文章において、非専門家アノテーターが専門家アノテーションと90%以上のB3一致を達成することを可能にした。この手法は、特に一般的な代名詞と同格句に関して、既存のガイドラインに一貫性の欠如を露呈し、今後のアノテーション基準において統一すべき重要な現象を浮き彫りにした。

ABSTRACT

Large-scale, high-quality corpora are critical for advancing research in coreference resolution. However, existing datasets vary in their definition of coreferences and have been collected via complex and lengthy guidelines that are curated for linguistic experts. These concerns have sparked a growing interest among researchers to curate a unified set of guidelines suitable for annotators with various backgrounds. In this work, we develop a crowdsourcing-friendly coreference annotation methodology, ezCoref, consisting of an annotation tool and an interactive tutorial. We use ezCoref to re-annotate 240 passages from seven existing English coreference datasets (spanning fiction, news, and multiple other domains) while teaching annotators only cases that are treated similarly across these datasets. Surprisingly, we find that reasonable quality annotations were already achievable (>90% agreement between the crowd and expert annotations) even without extensive training. On carefully analyzing the remaining disagreements, we identify the presence of linguistic cases that our annotators unanimously agree upon but lack unified treatments (e.g., generic pronouns, appositives) in existing datasets. We propose the research community should revisit these phenomena when curating future unified annotation guidelines.

研究の動機と目的

• 専門家アノテーターに依存しない、スケーラブルでクラウドソーシングに適した共参照アノテーション手法の開発。
• 最小限の言語学的トレーニングで非専門家アノテーターが専門家アノテーションと高い一致を達成できるかの評価。
• アノテーター間の合意が一致しない言語現象を特定し、現在のアノテーションガイドラインに欠落している点を示唆すること。
• 既存のデータセット間の不整合を明らかにすることで、統一的でコミュニティ全体が使用可能なアノテーションガイドラインの作成を促進すること。

提案手法

• 既存のデータセットで一貫して扱われている共参照事例（例：代名詞）に限定して学習するインタラクティブでチュートリアル駆動のアノテーションインターフェースを設計。
• アマゾン・メカニカル・トゥークで最小限のトレーニングで、7つの多様な英語共参照データセット（小説、ニュースなど）から240の文章を再アノテート。
• アノテーションの一致度を定量的に評価するため、B3 F1スコアを用い、メンションおよびクラスターレベルでの専門家アノテーションとの一致度を測定。
• アノテーター間の合意が一致しない点を定性的に分析し、一貫性のない処理が見られる言語現象を同定。
• テキストタイプごとのアノテーター間一致度を分析し、なじみのあるテキスト（例：子供向け物語）と複雑な構造（例：カタフォー、世界知識依存）のテキストにおけるパフォーマンス差を評価。
• アノテーションツール、チュートリアル、およびすべてのデータをオープンソースライセンスで公開し、再現可能性と今後の研究を支援。

実験結果

リサーチクエスチョン

• RQ1 非専門家アノテーターは、最小限の統一ガイドラインのみで、専門家の共参照アノテーションと高い一致を達成できるか？
• RQ2 どの言語現象が、アノテーター間で一貫した合意を示すが、既存の専門家アノテートデータセットでは一貫性のない処理を受けているか？
• RQ3 テキストタイプ（例：小説、ニュース）は、クラウドアノテーター間のアノテーター間一致度にどのように影響するか？
• RQ4 アノテーターと専門家アノテーションの主な不一致は、現在のアノテーションガイドラインの欠陥をどのように露呈しているか？

主な発見

• 非専門家アノテーターは、再アノテートされた文章において、専門家アノテーションと90%以上のB3 F1スコアを達成し、最小限のトレーニングで高品質な共参照データ収集が可能であることを示した。
• アノテーターは、'you' や 'we' といった一般的な代名詞を全員が共参照とマークしたが、既存のデータセットでは一貫性がなく、一部は非参照とされ、他はマークなしとされていた。これは標準化の欠如を示している。
• 同格句と補助動詞構文についても、アノテーターは一貫して共参照とマークしたが、専門家データセットでは一貫性がなく、統一的な処理の必要性が浮き彫りになった。
• アノテーター間一致度は、子供向け物語や小説といったなじみのあるテキストでは高かったが、カタフォーまたは世界知識に強く依存する複雑なテキストでは低下した。
• インタラクティブなチュートリアルは、非常に肯定的なフィードバックを獲得し、1人のアノテーターが「今までで一番良いものだ」と評した。これは、使いやすさと効果性の高さを示している。
• 本研究は、特に一般的な代名詞と同格句といった言語現象が、今後の統一されたアノテーションガイドライン開発の対象として再検討されるべきであると特定した。