[論文レビュー] Combining Trigram-based and Feature-based Methods for Context-Sensitive Spelling Correction

Andrew R. Golding, Yves Schabes|ArXiv.org|May 31, 1996

Speech and dialogue systems被引用数 5

ひとこと要約

この論文では、トリグラムに基づく文法的文脈モデリングと特徴ベースのベイズ分類を組み合わせることで文脈に敏感な誤り検出を向上させる、ハイブリッドな綴り直しシステムであるTribayesを提案する。品詞トリグラムによる文法的制約と語彙的差異を特徴とする個別特徴を統合することで、同音異義語や語の並びに関する誤りにおいて、個別の手法およびMicrosoft Wordの文法チェック機能を上回る性能を発揮する。

ABSTRACT

This paper addresses the problem of correcting spelling errors that result in valid, though unintended words (such as ``peace'' and ``piece'', or ``quiet'' and ``quite'') and also the problem of correcting particular word usage errors (such as ``amount'' and ``number'', or ``among'' and ``between''). Such corrections require contextual information and are not handled by conventional spelling programs such as Unix `spell'. First, we introduce a method called Trigrams that uses part-of-speech trigrams to encode the context. This method uses a small number of parameters compared to previous methods based on word trigrams. However, it is effectively unable to distinguish among words that have the same part of speech. For this case, an alternative feature-based method called Bayes performs better; but Bayes is less effective than Trigrams when the distinction among words depends on syntactic constraints. A hybrid method called Tribayes is then introduced that combines the best of the previous two methods. The improvement in performance of Tribayes over its components is verified experimentally. Tribayes is also compared with the grammar checker in Microsoft Word, and is found to have substantially higher performance.

研究の動機と目的

• 誤った語が正しい英単語である文脈に敏感な綴り間違い（例：'peace' と 'piece'）を解消すること。
• 意味が近いが語の並びのパターンが異なる語（例：'amount' と 'number'、'among' と 'between'）の使用ミスを是正すること。
• 文脈認識能力に欠ける伝統的なツール（例：Unix 'spell'）の限界を克服すること。
• 文法的トリグラムと語彙的特徴ベースのアプローチの長所を活かしたハイブリッドモデルの開発。
• 既存のシステム、特にMicrosoft Wordの文法チェック機能を上回る優れた性能を示すこと。

提案手法

• 品詞トリグラム（Trigrams）を用いて文法的文脈をモデリングし、最小限のパラメータで語の並びの制約を表現する。
• 語彙的および文脈的特徴を用いて同音異義語や語の並びの誤りを区別するベイズ分類器（Bayes）を適用する。
• TrigramsとBayesの信頼度スコアを重み付き統合することで、両者の信頼度を組み合わせたハイブリッドモデルTribayesを設計する。
• 語の並びの文法的妥当性を捉えるために、品詞の系列に基づいてTrigramsモデルを学習する。
• 語の頻度、語の並びのパターン、語彙的手がかりなどの特徴を用いて、曖昧な選択肢を解消するため、Bayesモデルを学習する。
• 両モデルの信頼度に基づく重み付き投票機構を統合することで、補正の正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 品詞トリグラムは、同音異義語を区別する文脈的文法的制約を効果的にモデリングできるか？
• RQ2 文法的構造が不十分な場合に、特徴ベースのベイズ分類がトリグラムモデルよりも語彙的曖昧性をより効果的に解消できるか？
• RQ3 トリグラムと特徴ベースの手法を組み合わせることで、単体の手法よりも性能向上が達成できるか？
• RQ4 Tribayesハイブリッドモデルは、Microsoft Wordの文法チェック機能といった商用ツールと比較して、文脈に敏感な誤りの修正で優れた性能を示せるか？
• RQ5 このハイブリッド手法は、同音異義語や語の並びに基づく綴り間違いの多様なタイプに一般化可能か？

主な発見

• Tribayesは、TrigramsおよびBayesモデル単体の性能を著しく上回る。
• ハイブリッドモデルは、文脈に敏感な綴り直しタスクにおいて、Microsoft Wordの文法チェック機能を上回る。
• 主語・動詞の一致など、文法的制約に依存する補正では、TrigramsがBayesよりも効果的である。
• 文法的構造ではなく語彙的または語の並びの特徴に依存する区別では、BayesがTrigramsを上回る。
• Tribayesにおける両手法の組み合わせは、互いの補完的長所を活かし、全体の正確性を向上させる。
• 同音異義語や近義語の誤用を含む多様な誤りタイプに対して、本システムは高い頑健性を示す。