[論文レビュー] Comparing a statistical and a rule-based tagger for German

Martin Volk, Gerold Schneider|ArXiv.org|Nov 11, 1998

Natural Language Processing Techniques参考文献 4被引用数 14

ひとこと要約

この論文は、同じ学習およびテストコーパスと品詞タグセットを用いて、ドイツ語の統計的タガーラー（TreeTagger）とルールベースのタガーラー（Brill-Tagger）を比較している。両者とも約5%の誤差率を示すが、特に未知語に対しては統計的タガーラーが0.5–1%高い精度を達成している。順次結合しても改善はなく、ルールベースのタガーラーは稀な形や未知の形に対しては効果が低いが、曖昧性の解消能力は優れている。

ABSTRACT

In this paper we present the results of comparing a statistical tagger for German based on decision trees and a rule-based Brill-Tagger for German. We used the same training corpus (and therefore the same tag-set) to train both taggers. We then applied the taggers to the same test corpus and compared their respective behavior and in particular their error rates. Both taggers perform similarly with an error rate of around 5%. From the detailed error analysis it can be seen that the rule-based tagger has more problems with unknown words than the statistical tagger. But the results are opposite for tokens that are many-ways ambiguous. If the unknown words are fed into the taggers with the help of an external lexicon (such as the Gertwol system) the error rate of the rule-based tagger drops to 4.7%, and the respective rate of the statistical taggers drops to around 3.7%. Combining the taggers by using the output of one tagger to help the other did not lead to any further improvement.

研究の動機と目的

• 同じ条件下で統計的タガーラー（TreeTagger）とルールベースのタガーラー（Brill-Tagger）の性能を厳密に比較すること。
• 外部語彙（例：Gertwol）が両タガーラーのタギング精度に与える影響を評価すること。
• タガーラーを順次結合することで全体の性能が向上するかを調査すること。
• 未知語や多義語トークンに関する誤差パターンの違いを分析すること。
• ニュースや行政文書などの異なるテキストタイプにおける両タガーラーの頑健性を評価すること。

提案手法

• Frankfurter Rundschauの70,000語のコーパスを用いて、STTSタグセット（数字列と文字列の数字を区別するための軽微な修正あり）で両タガーラーを学習した。
• 学習（60,710語）とテスト（8,887語）に7:1の分割を適用し、文単位の構造を保持した。
• 未知語、特に数字列の数字や固有名の認識を向上させるために、Gertwol外部語彙を適用した。
• 1つのタガーラーの出力をもう1つのタガーラーの語彙や学習データに組み込むことで、タガーラーを順次結合し、再学習と再評価を行った。
• テキストタイプ評価として、ニューステキストで学習したモデルを、未知語率の高い行政文書コーパス（38,007語）に適用した。
• 未知語と多義語トークンに焦点を当てた詳細な誤差分析を行い、タガーラーの挙動と誤差パターンを比較した。

実験結果

リサーチクエスチョン

• RQ1 同じドイツ語コーパスとタグセットで学習・テストされた統計的タガーラー（TreeTagger）とルールベースのタガーラー（Brill-Tagger）の誤差率は、どのように比較されるか？
• RQ2 外部語彙（Gertwol）は、特に未知語に対して、各タガーラーの性能にどの程度向上効果をもたらすか？
• RQ3 1つのタガーラーの出力をもう1つのタガーラーの学習に活用することで、タガーラーを順次結合することは、タギング精度の向上に寄与するか？
• RQ4 タガーラーは、未知語と多義語トークンの処理において、どのように異なるか？
• RQ5 未知語率の高い異なるテキストタイプ（例：行政文書）に適用された場合、タガーラーの頑健性はどの程度か？

主な発見

• 統計的タガーラー（TreeTagger）は、元のテストコーパスで95.27%のテスト精度を達成したのに対し、ルールベースのタガーラー（Brill-Tagger）は95.00%にとどまり、統計的アプローチに0.27%の優位性がある。
• Gertwol外部語彙を適用した後、統計的タガーラーの精度は96.29%に向上したが、ルールベースのタガーラーは95.90%にとどまり、統計的タガーラーの改善幅が0.39%大きい。
• ルールベースのタガーラーは未知語に対して統計的タガーラーに劣り、統計的タガーラーは未知語の処理において優れた頑健性を示した。
• ルールベースのタガーラーは多義語トークンに対して統計的タガーラーを上回ったが、そのようなケースはあまりに稀であったため、この利点は統計的タガーラーの全体的な優位性を相殺できなかった。
• タガーラーを順次結合（語彙の強化またはハイブリッド出力による再学習）しても性能向上はなく、最高の結果（96.03%）でさえも統計的タガーラーのピークに届かなかった。
• ルールベースのタガーラーは統計的タガーラー（数分）と比べてはるかに長い学習時間を要し（数日）、ルールを手動で変更可能であるため、保守性のトレードオフがある。