[論文レビュー] Tagging accurately -- Don't guess if you know

Pasi Tapanainen, Atro Voutilainen|ArXiv.org|Aug 16, 1994

Natural Language Processing Techniques参考文献 1被引用数 16

ひとこと要約

本稿では、知識ベースのタガー（ENGCG）と統計的タガー（Xerox Tagger）を組み合わせたハイブリッド品詞素性タギングシステムを提示する。2,700語の未学習テストコーパスにおいて98.5％の正確性を達成した。文脈的制約による言語学的に無知な意思決定を行う純粋な統計的タガーの限界を克服するため、信頼できる曖昧性を文法的規則で解消し、残りの部分を統計モデルで処理することで、単独の最先端の統計的タガーを上回り、誤りを半分以下に削減した。

ABSTRACT

We discuss combining knowledge-based (or rule-based) and statistical part-of-speech taggers. We use two mature taggers, ENGCG and Xerox Tagger, to independently tag the same text and combine the results to produce a fully disambiguated text. In a 27000 word test sample taken from a previously unseen corpus we achieve 98.5% accuracy. This paper presents the data in detail. We describe the problems we encountered in the course of combining the two taggers and discuss the problem of evaluating taggers.

研究の動機と目的

• 知識ベースと統計的手法を組み合わせることで、品詞素性タギングの正確性を向上させること。
• 局所的文脈制約により言語学的に無知な意思決定を行う純粋な統計的タガーの限界を是正すること。
• 統計モデルが正しく処理できない曖昧なケースを、信頼できる句構造規則を用いて事前に解消すること。
• 未学習テキストに対してルールベースと統計的タガーを統合する有効性を評価し、誤り率を最小限に抑えること。
• 統計モデルを単独で使用するのではなく、事前に言語学的知識を適用することで、優れた結果が得られることを示すこと。

提案手法

• システムは2つの独立したタガー、ENGCG（知識ベース）とXerox Tagger（統計的）を用い、同じ入力テキストを処理する。
• ENGCGは、1,100の信頼性の高い文法的制約と200のヒューリスティック制約を適用し、明確でない場合や低頻度の曖昧性を解消する。
• 両タガーが同じタグに合意した場合はその結果を採用する。衝突した場合は、知識ベースのシステムの出力を信頼する。
• ENGCGで解消されない曖昧性については、統計的タガーの選択に最も近いタグを選択する。
• ENGCGとXerox Taggerが使用する異なるタグセットを一貫した比較と統合が可能になるよう、カスタムマッピングモジュールを導入する。
• 最終出力は完全に曖昧性が解消されており、ルールベースの正確性と統計的カバレッジを戦略的に統合することで誤りが低減されている。

実験結果

リサーチクエスチョン

• RQ1 ルールベースと統計的品詞素性タギングを組み合わせることで、単独で使用した場合よりも全体の正確性を向上させることができるか？
• RQ2 言語学的規則が、統計モデルが正しく処理できない曖昧ケースをどの程度解消できるか？
• RQ3 ルールベース処理と統計的処理の適用順序が、最終的な曖昧性解消の正確性に与える影響は何か？
• RQ4 異なるタガー間のタグセットの不一致が、システム性能に与える影響は何か？
• RQ5 ハイブリッドシステムは、最先端の統計的タガーと比較して誤り率を半分以下に削減できるか？

主な発見

• ハイブリッドシステムは、2,700語の未学習テストコーパスで98.5％の正確性を達成し、誤り率は1.5％であった。
• 最高の統計的タガー（Xerox Tagger）単体と比較して、誤り率が半分以下に削減された。
• 統計的タガーが犯した誤りの約75–80％が、ルールベースのシステムによって是正された。これは、言語学的制約の信頼性の高さを示している。
• 未解決の曖昧性を残した語は3–7％にとどまり、主に前置詞と接続詞の曖昧さのような難しいケースであった。
• 統計的処理の前段階で知識ベースのコンponentを適用することで、統計モデルを単独で使用するのと比べて著しく優れた性能が得られた。
• タグセットマッピングの誤りが存在しても、ハイブリッドシステムの性能は当時報告された他の完全に曖昧性が解消されたタガーを上回った。