[論文レビュー] Comparing a Linguistic and a Stochastic Tagger

Christer Samuelsson, Atro Voutilainen|ArXiv.org|Jun 7, 1997

Natural Language Processing Techniques参考文献 15被引用数 27

ひとこと要約

この論文は、同じEngCGタグ付きコーパスを学習データとして用いた、規則に基づく言語的品詞タガーEngCG-2と、最先端の統計的タガーを比較している。類似した曖昧さの水準にあるにもかかわらず、言語的タガーは統計的タガーと比べて誤差率が8.6〜28倍も低く、制約に基づくシステムが、同じタグセットとベンチマークデータを使用しても、統計モデルを上回ることを示している。

ABSTRACT

Concerning different approaches to automatic PoS tagging: EngCG-2, a constraint-based morphological tagger, is compared in a double-blind test with a state-of-the-art statistical tagger on a common disambiguation task using a common tag set. The experiments show that for the same amount of remaining ambiguity, the error rate of the statistical tagger is one order of magnitude greater than that of the rule-based one. The two related issues of priming effects compromising the results and disagreement between human annotators are also addressed.

研究の動機と目的

• EngCG-2の高精度が、優れた言語的モデリングのおかげであるのではなく、タグセットの単純さによるものかどうかを評価すること。
• 人間がアノテートしたコーパスにおけるプライミング効果が、タガー間の性能比較の妥当性を損なう程度を調査すること。
• 言語的タガーと統計的タガーの間の観察された性能格差が、曖昧さのトレードオフの結果であるのか、それとも本質的なモデリングの優位性によるものなのかを評価すること。
• EngCGタグセットが、より広く使われているタグセットと同等に、統計的タガーにとって挑戦的であるかどうかを確認すること。
• ホールドアウトされたベンチマークコーパスを用いて、同じ曇りの条件下でEngCG-2と統計的タガーの誤差率を比較すること。

提案手法

• 357,000語のブラウンコーパスのサブセットを、EngCGタグで再アノテートし、その上で最先端の統計的タガーを学習した。
• EngCG-2（5つのサブグラマーマルチスクリプトを含む3,600の規則を持つ制約ベースの形態素タガー）と統計的タガーの両方を、別個の55,000語のベンチマークコーパスに適用した。
• 二重盲検評価の設定を採用し、2名の人が自動タガー出力の内容を知らない状態で、ベンチマークコーパスを独立して曇りを解消した。
• 両タガーの曇りレベルが同一の状態での誤差率のトレードオフ曲線を測定し、同じ曇りレベルでの性能を比較した。
• 具体的な曇りレベル（例：1.026、1.070タグ/語）における誤差率を補間し、直接比較を可能にした。
• 誤差要因を分析し、未知語の処理（全誤差の2.01%）と語彙的タグの欠落（0.15%）を区別した。これらは、ベンチマークコーパスの方がトレーニングコーパスよりも高い値を示した。

実験結果

リサーチクエスチョン

• RQ1 EngCG-2の高精度は、タグセットの単純さに起因しており、統計的タガーが同様の結果を得やすいという要因に起因するのか？
• RQ2 人間がアノテートしたコーパスにおけるプライミング効果が、自動タガー間の性能比較の妥当性をどの程度損なうのか？
• RQ3 両タガーが同じレベルの残存曇りに制限された場合、統計的タガーはEngCG-2と同等の性能を達成できるのか？
• RQ4 2つのタガーの誤差率は、異なる曇りレベルでどのように変化し、性能格差の大きさはどの程度か？
• RQ5 誤差率の差は、語彙的カバレッジの問題によるものか、それともモデリング能力の本質的差異によるものか？

主な発見

• 1.026タグ/語の曇りレベルでは、統計的タガーの誤差率はEngCG-2の8.6倍も高かった。
• 1.070タグ/語の曇りレベルでは、統計的タガーの誤差率はEngCG-2の28.0倍も高かった。これは、曇りが増加するにつれて性能格差が拡大することを示している。
• 最大曇り（14.24タグ/語）における統計的タガーの残存誤差率は0.15%であり、主に未知語の語彙的タグの欠落に起因していた。
• ベンチマークコーパスは、語彙の不一致が大きいため、トレーニングコーパスに比べて誤差率が1.00%高い。未知語と語彙的欠落が全誤差の2.16%を占めていた。
• 人間のアノテーターは初期に0.7%の語で合意が得られなかったが、これらはほとんどが事務的ミスに起因しており、真正の合意不一致とは見なされず、ゴールドスタンダードの信頼性を支持している。
• 2つのタガー間の性能格差は、タグセットの単純さ、曇りのトレードオフ、プライミング効果のいずれとも説明できない。これは、EngCG-2が優れた語彙的および文脈的情報源を備えていることが、主な差異要因であることを示している。