[論文レビュー] Using Decision Trees for Coreference Resolution

Joseph F. McCarthy, Wendy G. Lehnert|ArXiv.org|May 24, 1995

Natural Language Processing Techniques参考文献 17被引用数 93

ひとこと要約

本論文では、ビジネス共同出資文書における共参照解析のための決定木ベースのシステムResolveを提示する。このシステムは、手作業で設計されたルールよりも再現率とF-measureで優れている。フレーズペアから導出された特徴ベクトルを用い、C4.5決定木を用いて共参照関係を分類するが、86.5%のF-measure（非剪定）および85.8%（剪定）を達成し、MUC-5ルールベースシステムの78.9%を上回った。

ABSTRACT

This paper describes RESOLVE, a system that uses decision trees to learn how to classify coreferent phrases in the domain of business joint ventures. An experiment is presented in which the performance of RESOLVE is compared to the performance of a manually engineered set of rules for the same task. The results show that decision trees achieve higher performance than the rules in two of three evaluation metrics developed for the coreference task. In addition to achieving better performance than the rules, RESOLVE provides a framework that facilitates the exploration of the types of knowledge that are useful for solving the coreference problem.

研究の動機と目的

• 手作業で設計されたルールの制限を解消するため、これらが壊れやすく、保守が困難で、しばしば過剰に慎重であるという点に起因する。
• 決定木を用いた機械学習が、共参照に有用な特徴に関するより良い性能とより体系的な洞察をもたらすかどうかを検討する。
• 文単位の解析からの誤り伝搬を減らすために、キュレートされた参照マークイングインターフェース（cmi）を用いてフレーズペアを抽出する。
• 特に意味的および文法的特徴が、正確な共参照分類に最も寄与するものかどうかを特定する。
• 共参照解析における特徴の探索とパフォーマンスチューニングを容易にするスケーラブルで学習可能なフレームワークを提供する。

提案手法

• システムは、名詞句ペアを表す特徴ベクトルから分類ルールを誘導するC4.5決定木学習アルゴリズムを用いる。
• 各特徴ベクトルには、品詞タグ、意味的特徴、ドメイン固有の役割（例：共同出資の親会社または子会社）などの意味的・文法的・文脈的属性が含まれる。
• 学習データは、テキスト内のすべての可能なフレーズペアからなり、コアリファレンスマークイングインターフェース（cmi）を用いて、共参照（ポジティブ）または非共参照（ネガティブ）にラベル付けされている。
• システムは、EJVコーパスのパーティションを用いた交差検証により訓練およびテストされ、再現率、適合率、F-measureを用いて評価される。
• 過学習を軽減し一般化性能を向上させるために、決定木に対して剪定が適用され、ハイパーパrameterは標準的なC4.5設定で調整される。
• MUC-5ルールベースシステムを同じデータ上で再実装し、パフォーマンス指標を直接比較可能にする。

実験結果

リサーチクエスチョン

• RQ1 決定木ベースのシステムは、ビジネス共同出資文書における共参照解析で、手作業で設計されたルールを上回ることができるか？
• RQ2 意味的、文法的、文脈的特徴の中で、どれが共参照関係の予測に最も有用か？
• RQ3 再現率、適合率、F-measureの観点から、決定木の性能はルールベースシステムと比べてどうか？
• RQ4 剪定は、共参照分類における決定木モデルの一般化性能と頑健性を向上させるか？
• RQ5 意味的特徴のみで高精度な共参照解析が達成可能か。文法的特徴は果たす役割は何か？

主な発見

• Resolveは非剪定決定木を用いて86.5%のF-measureを達成し、MUC-5ルールセットの78.9%を大きく上回った。
• 非剪定Resolveモデルは85.4%の再現率と87.6%の適合率を達成し、ルールセットの67.7%の再現率を上回ったが、適合率は低かった。
• 剪定Resolveモデルは80.1%の再現率と92.4%の適合率を達成し、再現率を多少犠牲にした代わりに適合率が向上した。
• 再現率を2倍の重み（β=2.0）で評価しても、剪定Resolveモデルはルールセットを上回り、F-measureは82.3%（ルールセットは71.8%）を達成した。
• β値が1/3未満の再現率重視の状況を除き、すべてのβ値で剪定モデルがルールセットをF-measureで上回った。これは、バランスの取れた性能において、優位性が安定していることを示している。
• 誤り分析から、現在の特徴セット（主に意味的特徴）は不十分であることが判明し、さらに向上させるには文法的特徴（例：節境界、文法的構成要素）が必要であることが明らかになった。