[論文レビュー] A Bayesian hybrid method for context-sensitive spelling correction

Andrew R. Golding|ArXiv.org|Jun 3, 1996

Natural Language Processing Techniques参考文献 3被引用数 66

ひとこと要約

本稿では、ベイジアン分類を用いて文脈語と語句連接を統合するベイジアンハイブリッド手法を提案し、標準スペルチェックが見逃す文脈に依存する綴り間違い（例：'desert' vs. 'dessert'）を改善する。個々のコンponentや意思決定リストハイブリッドよりも優れた性能を示し、最も強い信号に依存するのではなく、すべての利用可能な証拠を集約することで、実世界のテキストにおける同音異義語や類似音義語の誤りに対してより高い正確性を達成する。

ABSTRACT

Two classes of methods have been shown to be useful for resolving lexical ambiguity. The first relies on the presence of particular words within some distance of the ambiguous target word; the second uses the pattern of words and part-of-speech tags around the target word. These methods have complementary coverage: the former captures the lexical ``atmosphere'' (discourse topic, tense, etc.), while the latter captures local syntax. Yarowsky has exploited this complementarity by combining the two methods using decision lists. The idea is to pool the evidence provided by the component methods, and to then solve a target problem by applying the single strongest piece of evidence, whatever type it happens to be. This paper takes Yarowsky's work as a starting point, applying decision lists to the problem of context-sensitive spelling correction. Decision lists are found, by and large, to outperform either component method. However, it is found that further improvements can be obtained by taking into account not just the single strongest piece of evidence, but ALL the available evidence. A new hybrid method, based on Bayesian classifiers, is presented for doing this, and its performance improvements are demonstrated.

研究の動機と目的

• 文脈に依存する綴り間違い（例：'desert' と 'dessert' のように、正規の語彙に属する誤り）を扱うため、標準スペルチェックが見逃す問題を解決すること。
• 意思決定リストに依存する既存のハイブリッド手法を改善し、最も強い証拠のみに依存するのではなく、すべての利用可能な証拠を集約すること。
• ベイジアン分類を用いて、綴り間違いの語彙的意味の吟味に向けた、頑健で証拠集約型のアプローチを開発すること。
• 本手法を、品詞トライグラムモデルを含む他のアプローチと比較して評価し、相対的な強みと限界を評価すること。

提案手法

• 本手法は、曖昧な語（例：'desert' と 'dessert'）をまとめる「混同集合」を用いて、綴り間違いの修正を語彙的意味の吟味問題として定式化する。
• 2種類の証拠を抽出する：(1) 目的語の周囲のウィンドウ内に特定の文脈語が存在するか、(2) 語と品詞タグの局所的語句連接。
• 両方のコンponentからの証拠を、混同集合内の各語の観察されたすべての証拠に基づく後験確率を計算するベイジアン分類器を用いて統合する。
• ベイジアンモデルは、訓練データから得られる事前確率と尤度を用いて、P(語 | 文脈語, 語句連接) を計算することで、両方の証拠を統合する。
• 本システムは、誤検出と誤検出を同等に扱う簡素化された仮定を採用しているが、実運用では信頼度の閾値を追加可能であると指摘している。
• 性能評価は、Random House Unabridged Dictionary から抽出した17の混同集合を含むテストセットを用い、正答率（予測の正しさ）を指標としている。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン分類を用いて文脈語と語句連接を統合することで、意思決定リストハイブリッドを上回る綴り間違いの修正精度が達成できるか？
• RQ2 最も強い証拠のみに依存するのではなく、すべての利用可能な証拠を集約することで、より頑健で正確な意味の吟味が可能になるか？
• RQ3 同音異義語や類似音義語の綴り間違いに対して、ベイジアンハイブリッド手法は、最先端の品詞トライグラムモデルと比較してどのように性能を発揮するか？
• RQ4 どのような状況でベイジアン手法がトライグラムモデルを上回り、逆に下回るか、その理由は何か？

主な発見

• ベイジアンハイブリッド手法は、個々のコンponent（文脈語と語句連接）および意思決定リストハイブリッドを著しく上回り、混同集合全体で平均的な正答率が向上した。
• 混同集合 {between, among} において、ベイジアン手法は76.5%の正答率を達成し、ベースライン（50.0%）および意思決定リスト（65.0%）を大幅に上回った。
• 同音異義語や類似音義語（例：'there/their/they're'）においても一貫した改善が見られ、本手法は60.0%の意思決定リストよりも75.0%の正答率を達成した。
• 品詞が同一の同音異義語（例：'between/among'）に対しては、トライグラムモデルが品詞タグの区別がつかないため50.0%にとどまったが、ベイジアン手法はそれを上回った。
• 品詞が異なる混同集合（例：'there/their/they're'）では、トライグラムモデルが文全体の品詞タグの系列を分析できるため、ベイジアン手法を上回った。
• 結果から、両手法は補完的関係にあり、今後の研究として、品詞が異なる場合にはトライグラムモデルを最初に適用し、品詞が同一の場合はベイジアン手法を適用するハイブリッドパイプラインの構築が有望であると示唆された。