[論文レビュー] A Public Reference Implementation of the RAP Anaphora Resolution Algorithm

Long Qiu, Min‐Yen Kan+1 more|ArXiv.org|Jun 17, 2004

Natural Language Processing Techniques参考文献 6被引用数 75

ひとこと要約

本稿では、第3人称代名詞、語的後件的表現、余剰代名詞を解決するためのRAP後件的表現解決アルゴリズムの公開・スタンドアロンの参考実装であるJavaRAPを提示する。Charniak (2000) パーサーを入力として用い、後件的表現-先行詞ペアを出力するか、入力テキスト内での置換を実行し、MUC-6コアファレンスタスクで57.9%の正確性を達成しており、先行研究の結果と一致する。

ABSTRACT

This paper describes a standalone, publicly-available implementation of the Resolution of Anaphora Procedure (RAP) given by Lappin and Leass (1994). The RAP algorithm resolves third person pronouns, lexical anaphors, and identifies pleonastic pronouns. Our implementation, JavaRAP, fills a current need in anaphora resolution research by providing a reference implementation that can be benchmarked against current algorithms. The implementation uses the standard, publicly available Charniak (2000) parser as input, and generates a list of anaphora-antecedent pairs as output. Alternately, an in-place annotation or substitution of the anaphors with their antecedents can be produced. Evaluation on the MUC-6 co-reference task shows that JavaRAP has an accuracy of 57.9%, similar to the performance given previously in the literature (e.g., Preiss 2002).

研究の動機と目的

• ベンチマーク目的として、RAP後件的表現解決アルゴリズムの公開可能でスタンドアロンの参考実装を提供すること。
• 標準実装を提供することで、再現可能な研究を支援し、新しい後件的表現解決アルゴリズムと比較可能な基準を提供すること。
• 一貫性があり、十分に文書化されたツールを用いて、研究者がRAPアルゴリズムを評価および拡張できるようにすること。
• RAPアルゴリズムが標準的なコアファレンス評価ベンチマークで競争力のある性能を維持していることを示すこと。

提案手法

• RAPアルゴリズムは、構文的および意味的解析のためのCharniak (2000) 依存構文解析器を入力として用いるJavaで実装されたJavaRAPとして実装されている。
• システムは、性別、数、構文的頭部の一致などの構文的および意味的制約を通じて後件的表現を同定する。
• 文脈的特徴に基づいて、代名詞や語的後件的表現を最も可能性の高い先行詞にリンクするための解決ルールのセットを適用する。
• 出力モードとして2種類をサポートする：後件的表現-先行詞ペアのリスト出力、または入力テキスト内の直接置換。
• アルゴリズムは、構文的解析、意味的役割ラベリング、語彙的制約の組み合わせを用いて、先行詞候補を特定する。
• 標準的な指標を用いてMUC-6コアファレンスタスク上で評価を行い、正確性を評価する。

実験結果

リサーチクエスチョン

• RQ1 RAPアルゴリズムの公開可能でスタンドアロンの実装を開発し、後件的表現解決研究の基準ベンチマークとして機能させることは可能か？
• RQ2 RAPアルゴリズムの性能は、標準的なコアファレンス評価データセット上で既存の実装と比較してどの程度か？
• RQ3 標準NLPツールを用いて、RATアルゴリズムは第3人称代名詞、語的後件的表現、余剰代名詞をどの程度解決できるか？
• RQ4 RATアルゴリズムのMUC-6データセットにおける正確性は、先行研究で報告された結果と一貫しているか？

主な発見

• JavaRAPはMUC-6コアファレンスタスクで57.9%のコアファレンス解決正確性を達成しており、文献に報告された過去の性能水準と一貫している。
• 実装は、標準的な解析と言語的ルールを用いて、第3人称代名詞、語的後件的表現、余剰代名詞を正常に解決している。
• システムは、後件的表現-先行詞ペアのリスト出力と、入力テキスト内での直接置換という2つの出力オプションを提供しており、後続のアプリケーションにおける有用性が向上している。
• Charniak (2000) パーサーを入力として用いることで、広く使われているNLPパイプラインと互換性が保たれ、再現性が向上している。
• JavaRAPの公開により、新しい後件的表現解決アルゴリズムとの直接比較が可能となり、分野の進展を支援している。