[論文レビュー] A Corpus-Based Investigation of Definite Description Use

Massimo Poesio, Renata Vieira|arXiv (Cornell University)|Oct 24, 1997

Natural Language Processing Techniques参考文献 37被引用数 322

ひとこと要約

このコーパスベースの研究では、言語的分類枠組みを用いて書記テキスト内の定 冠詞的記述をアノテートする可能性を検討する。Hawkins や Prince のような伝統的枠組みでは低いアノテータ間整合性（Kappa = 0.63）が得られたが、Fraurud の簡略化された二段階分類システム（初出記述 vs. 後続記述）ではより高い整合性（Kappa = 0.76）が得られた。これは、計算言語学の応用において大規模アノテーションを行う際に、より単純な枠組みが信頼性が高いことを示唆している。

ABSTRACT

We present the results of a study of definite descriptions use in written texts aimed at assessing the feasibility of annotating corpora with information about definite description interpretation. We ran two experiments, in which subjects were asked to classify the uses of definite descriptions in a corpus of 33 newspaper articles, containing a total of 1412 definite descriptions. We measured the agreement among annotators about the classes assigned to definite descriptions, as well as the agreement about the antecedent assigned to those definites that the annotators classified as being related to an antecedent in the text. The most interesting result of this study from a corpus annotation perspective was the rather low agreement (K=0.63) that we obtained using versions of Hawkins' and Prince's classification schemes; better results (K=0.76) were obtained using the simplified scheme proposed by Fraurud that includes only two classes, first-mention and subsequent-mention. The agreement about antecedents was also not complete. These findings raise questions concerning the strategy of evaluating systems for definite description interpretation by comparing their results with a standardized annotation. From a linguistic point of view, the most interesting observations were the great number of discourse-new definites in our corpus (in one of our experiments, about 50% of the definites in the collection were classified as discourse-new, 30% as anaphoric, and 18% as associative/bridging) and the presence of definites which did not seem to require a complete disambiguation.

研究の動機と目的

• 定型的な言語的分類枠組みを用いた、定 冠詞的記述のコーパスの大規模アノテーションの可能性を評価すること。
• 言語学的訓練を受けていないアノテータが、定 冠詞的記述解釈の既存理論を信頼性を持って適用できるかどうかを評価すること。
• Hawkins や Prince や Fraurud の分類枠組みの間でのアノテータ間整合性を比較すること。
• 特に話題新規使用に関する、書記文体における定 冠詞的記述の分布および解釈パターンを調査すること。
• 定 冠詞的記述を処理する計算システムの評価ベンチマークの設計を支援すること。

提案手法

• 33編の新聞記事から抽出した1,412個の定 冠詞的記述を、素人の被験者が分類する2つの実験を実施した。
• Hawkins (1978) や Prince (1981, 1992) の分類体系を基にした枠組みに加え、Fraurud (1990) が提唱した二段階のみの簡略化版（初出記述 vs. 後続記述）を用いた。
• 分類および先行詞割り当ての信頼性を評価するため、Cohen のKappa統計量を用いてアノテータ間整合性を測定した。
• 計算言語学の応用を念頭に、一貫性を確保するため、書記テキストに焦点を当てた。
• 参照解決の正確性を評価するため、代名詞的および関連的／ブリッジングな定 冠詞的記述の先行詞割り当てに関するデータを収集した。
• コーパス内における話題新規、代名詞的、関連的／ブリッジングな定 冠詞的記述の頻度を分析した。

実験結果

リサーチクエスチョン

• RQ1 言語学的訓練を受けていないアノテータは、Hawkins や Prince が提唱したような複雑な言語的分類枠組みを用いて、定 冠詞的記述を信頼性を持って分類できるか？
• RQ2 書記テキストにおける定 冠詞的記述に異なる分類枠組みを適用した場合、どの程度のアノテータ間整合性が達成できるか？
• RQ3 話題新規な定 冠詞的記述は、書記新聞テキストにおいてどの程度一般的であり、代名詞的または関連的／ブリッジングな使用と比べてどう異なるか？
• RQ4 Fraurud の二段階モデルのような簡略化された分類枠組みは、より詳細な分類体系よりも顕著に高い整合性を示すか？
• RQ5 このコーパス内の定 冠詞的記述は、完全な曖昧除去を必要としている程度はどの程度か？また、それらは標準的な解釈モデルにどのような挑戦をもたらすか？

主な発見

• 伝統的な分類枠組み（Hawkins や Prince のもの）では、アノテータ間整合性が比較的低く、Kappa値は0.63にとどまり、中程度の信頼性にとどまった。
• 初出記述と後続記述のみを区別する Fraurud の簡略化された分類枠組みでは、顕著に高い整合性（Kappa = 0.76）が達成された。
• コーパス内の約50％の定 冠詞的記述が話題新規と分類され、書記テキストにおける非代名詞的使用の頻度が非常に高いことが示された。
• 代名詞的記述は全体の約30％を占め、関連的／ブリッジング記述は約18％を占めた。
• 先行詞割り当てに関する整合性は完全ではなかったため、代名詞的記述に対しても参照対象の特定に課題があることが示された。
• 本研究は、多くの定 冠詞的記述が完全な曖昧除去を必要としないこと、ならびに一部の計算言語学的参照解決モデルの前提を疑問視する要因を示している。