[論文レビュー] ARKref: a rule-based coreference resolution system

Brendan O’Connor, Michael Heilman|arXiv (Cornell University)|Oct 8, 2013

Natural Language Processing Techniques参考文献 7被引用数 6

ひとこと要約

ARKref は句構造解析と意味タグ付けを用いて名詞句の後行参照を解消するルールベースの共参照解決システムであり、文法的制約と最小の木距離に基づいて先行詞を選択する。プロンプト解消では76%の正確性を達成し、非プロンプト解消では74%で、並列構造や補語補語のような即時の文法的パターンにおいて高い正確性を示す。

ABSTRACT

ARKref is a tool for noun phrase coreference. It is a deterministic, rule-based system that uses syntactic information from a constituent parser, and semantic information from an entity recognition component. Its architecture is based on the work of Haghighi and Klein (2009). ARKref was originally written in 2009. At the time of writing, the last released version was in March 2011. This document describes that version, which is open-source and publicly available at: http://www.ark.cs.cmu.edu/ARKref

研究の動機と目的

• 文法的および意味的情報を活用して改善された先行詞選択を実現する決定的でルールベースの共参照解決システムの開発。
• 名前付きエンティティ認識を越えたより豊富な文法的制約と意味的適合性チェックを組み込むことで、先行システムの限界を克服すること。
• 結合理論の原則と性別に基づく名前解消の明示的エンコードを通じて、共参照解決の正確性を向上させること。
• ACE などの標準データセット上で評価が可能な、オープンソースで公開可能な共参照解決ツールの提供。
• ブートストラップされた語彙的モデルへの依存を減らすために、意味的および文法的フィルタリングを施した固定ルールセットを用いること。

提案手法

• ドキュメント内のすべての文について、構文解析器（Stanford Parser）を用いて構文的構造を抽出する。
• スーパーセンスタガッパーを適用して、名詞句に意味的タイプを割り当て、名前付きエンティティを越えた意味的適合性チェックを可能にする。
• 並列構造、役割並列構造、補語補語など、特定の文法的パターンに対して即時のルールベースの解消を実装する。
• 性別、数、文法的役割（例：主語は文頭の補足句を指すことはできない）などの文法的および意味的制約を用いて、潜在的な先行詞をフィルタリングする。
• 残りの候補の中から、最も短い文間木距離を持つ先行詞を選択する。
• 最終的なエンティティクラスタの形成のために、先行詞決定に推移的閉包を適用するが、このアプローチは照応する照応語の同時推論を欠いている。

実験結果

リサーチクエスチョン

• RQ1 明示的な文法的および意味的制約を用いることで、ルールベースの共参照解決はどのように改善できるか？
• RQ2 並列構造や補語補語などの文法的パターンは、共参照解決の正確性にどの程度寄与するか？
• RQ3 性別およびプロンプトの種別情報は、ルールベースのシステムにおける先行詞選択の改善に効果的に活用できるか？
• RQ4 ブートストラップされた意味的適合性モデルが欠如している場合、学習ベースのシステムと比較して性能にどのような影響を与えるか？
• RQ5 個々の先行詞決定が誤りを含む場合、クラスタ形成における推移的閉包の影響は何か？

主な発見

• ARKref はプロンプト解消で76%の正確性を達成し、'he' や 'she' のような第一人称・第二人称プロンプトではそれぞれ70%および93%の高い性能を示す。
• 並列構造の即時のルールベース解消は82%の正確性を達成し、役割並列構造では100%の正確性を示しており、これらのパターンに対する信頼性の高さが裏付けられる。
• 補語補語構造は85%の正確性で解消されるが、助動詞が有効な補語動詞として誤分類されることで誤りが生じる。
• 非プロンプト共参照解消は74%の正確性を達成し、意味的および文法的フィルタリングを通じて多数の正しい決定がなされている。
• NULL解消の決定は66%の正確性を示しており、単一の照応語が常に先行詞を持たないことを正しく識別できていることが示唆される。
• プロンプトからプロンプトへの解消は予想に反って効果的で、'we' では70%、'it' では77%の正確性を示しており、会話や引用文の文脈で複雑さを考慮しても適切に処理されていることが示唆される。