[論文レビュー] Exploring the Statistical Derivation of Transformational Rule Sequences for Part-of-Speech Tagging

Lance Ramshaw, Mitchell P. Marcus|ArXiv.org|Jun 3, 1994

Natural Language Processing Techniques参考文献 7被引用数 22

ひとこと要約

本稿では、トレーニング精度のネット向上に基づいて段階的にルールを選択する統計的手法を提示し、品詞タギングにおける変換ルールの順序付きシーケンスを導出する。この手法は、HMMよりも優れた性能を示す一方で、よりコンパクトで解釈可能なモデルを生成し、意思決定木と同等の性能を発揮するが、ルールスコアリングと適用の独立性のおかげで過学習に対してより強い耐性を示す。

ABSTRACT

Eric Brill has recently proposed a simple and powerful corpus-based language modeling approach that can be applied to various tasks including part-of-speech tagging and building phrase structure trees. The method learns a series of symbolic transformational rules, which can then be applied in sequence to a test corpus to produce predictions. The learning process only requires counting matches for a given set of rule templates, allowing the method to survey a very large space of possible contextual factors. This paper analyses Brill's approach as an interesting variation on existing decision tree methods, based on experiments involving part-of-speech tagging for both English and ancient Greek corpora. In particular, the analysis throws light on why the new mechanism seems surprisingly resistant to overtraining. A fast, incremental implementation and a mechanism for recording the dependencies that underlie the resulting rule sequence are also described.

研究の動機と目的

• 順序付きルールシーケンスを学習する統計的手法を開発すること。
• モデルの複雑さ、一般化性能、過学習の観点から、変換ルール学習と意思決定木を比較すること。
• ルールの独立的かつ逐次的適用が性能と耐障害性に与える影響を調査すること。
• ルールの依存関係を記録するメカニズムを検討し、刈り込みやモデル再構築を可能にするものとする。

提案手法

• 本手法は、隣接する語や品詞に基づく文脈依存変換を定義するルールテンプレートの集合を用いる。
• 各トレーニング段階で、トレーニングコーパス上で最大のネット向上（正の変化から負の変化を差し引いたもの）を示すルールが選択され、適用される。
• ルールは全コーパスに対して段階的にスコアリングされ、適用され、これにより後のルールが初期の修正の恩恵を受ける。
• さらなるネット向上が得られなくなる、またはしきい値に達するまでプロセスを繰り返す。
• ルールが常に正の影響を及ぼさない場合をスキップすることで、インクリメンタルなアルゴリズムがトレーニングを高速化する。
• ルール相互作用を追跡し、将来の刈り込みや再構築を可能にするために、依存関係ツリーを記録する。

実験結果

リサーチクエスチョン

• RQ1 変換ルールシーケンスは、モデルのコンパクトさと解釈可能性を維持しながら、HMMを上回る性能を示せるか？
• RQ2 ルールの逐次的かつ独立的適用は、意思決定木学習と比較して過学習と一般化性能の観点でどのように異なるか？
• RQ3 ルール選択順序の選択が最終的な性能にどの程度影響を及えるか？
• RQ4 ルールの依存関係は、効果的に捉えられ、モデルの耐障害性向上に役立つか？
• RQ5 隠れたルール間依存関係があるにもかかわらず、刈り込みや交差検証のような技術がルールシーケンスに適応可能か？

主な発見

• このルールシーケンス手法は、ブラウンコーパスおよびセプティアントイン・ギリシャ語コーパスの両方において、広く使われているHMM手法を上回る品詞タギング性能を示した。
• HMMよりもはるかに少ない数のルールで高い精度を達成しており、よりコンパクトで解釈可能な表現が得られた。
• ルールのランダム選択とグリーディ選択の両方で、最終的な性能にほとんど差がなかったため、独立したスコアリングのおかげで過学習は重大な問題ではないことが示された。
• ルールが各ステップで全コーパス上でスコアリングされるため、この手法は過学習に対して強く耐性を示した。
• 依存関係ツリーの記録メカニズムにより、将来の刈り込みや再構築が可能になりながら、ルールの一貫性が保たれた。
• 計算的にも効率的であり、インクリメンタルなアルゴリズムのおかげで、トレーニング時間がほぼ2桁減少した。