[論文レビュー] A Robust Text Processing Technique Applied to Lexical Error Recovery

Peter Ingels|ArXiv.org|Feb 5, 1997

Natural Language Processing Techniques参考文献 5被引用数 39

ひとこと要約

本論文では、トークンパスフレームワーク内での隠れマルコフモデル（HMM）と統計的言語モデルを用いたノイジーチャネルモデルにより、綴りの誤り、区切りの誤り、現実世界の誤りを統合的に補正する、頑健なテキスト処理システム ctr（Connected Text Recognition）を提示する。このシステムは、顕著なノイズを引き起こさずに、ほぼ完璧な区切り誤り補正と、綴りの誤りおよび現実世界の誤りの高い正確性を達成している。

ABSTRACT

This thesis addresses automatic lexical error recovery and tokenization of corrupt text input. We propose a technique that can automatically correct misspellings, segmentation errors and real-word errors in a unified framework that uses both a model of language production and a model of the typing behavior, and which makes tokenization part of the recovery process. The typing process is modeled as a noisy channel where Hidden Markov Models are used to model the channel characteristics. Weak statistical language models are used to predict what sentences are likely to be transmitted through the channel. These components are held together in the Token Passing framework which provides the desired tight coupling between orthographic pattern matching and linguistic expectation. The system, CTR (Connected Text Recognition), has been tested on two corpora derived from two different applications, a natural language dialogue system and a transcription typing scenario. Experiments show that CTR can automatically correct a considerable portion of the errors in the test sets without introducing too much noise. The segmentation error correction rate is virtually faultless.

研究の動機と目的

• 腐敗したテキスト入力における語彙的誤り（綴りの誤り、区切りの誤り、現実世界の誤り）を統合的に補正するためのフレームワークの開発。
• 誤りのパターンを捉えるために、隠れマルコフモデル（HMM）を用いて入力誤りの確率を表すタイプライティングプロセスをノイジーチャネルとしてモデル化する。
• トークンパスフレームワークを介して、語彙的パターン照合と言語的期待を密接に統合し、誤り回復の性能を向上させる。
• 実世界の会話コーパスを用いてシステムを評価し、実用的なNLP応用における頑健性を示す。
• 自然言語会話システムが、タイピング誤りによる最小限の中断でユーザー入力を処理できるようにする。

提案手法

• 入力誤りの確率を表すために、隠れマルコフモデル（HMM）を用いてタイプライティングプロセスをノイジーチャネルとしてモデル化する。
• 弱い統計的言語モデル（unigram、ドメインタグbigram、品詞bigram）を用いて、正しい発話の尤度を推定する。
• 語彙的パターン照合と言語的期待を段階的なHMMアーキテクチャ内で統合するため、トークンパスフレームワークを実装する。
• 一般的なタイピング誤りを考慮して、入力から候補語列を生成するための語彙的デコーダー（OD）を適用する。
• 言語モデルスコアに基づいて仮説をランク付けし、最も確率の高い正しい文を選択するための言語的デコーダー（LD）を用いる。
• 計算コストを抑えるために、妥当な補正経路を効率的に探索するビームサーチ機構を統合する。

実験結果

リサーチクエスチョン

• RQ1 統合フレームワークは、綴りの誤り、区切りの誤り、現実世界の誤りの3種類の語彙的誤りを同時に効果的に補正できるか？
• RQ2 HMMと統計的言語モデルを用いたノイジーチャネルモデルは、追加のノイズを引き起こさずに腐敗したテキストをどれほど効果的に回復できるか？
• RQ3 トークンパスフレームワークは、誤り回復において語彙的制約と言語的制約の密接な統合をどの程度可能にするか？
• RQ4 自然に発生するタイピング誤りを含む実世界の会話シナリオにおいて、このシステムはどの程度効果的か？
• RQ5 未知語と綴りの誤りを区別できるか？この区別を改善するためのヒューリスティクスは何か？

主な発見

• システムは、ほぼ完全な区切り誤り補正を達成しており、語の境界誤りに対する高い信頼性を示している。
• 綴りの誤りおよび現実世界の誤りの大部分が、顕著なノイズを引き起こさずに自動的に補正された。
• ドメインタグおよび品詞bigram言語モデルの使用により、文脈的および構文的情報を組み込むことで、補正の正確性が向上した。
• ビームサーチ機構により、仮説の数が効果的に制限され、計算の実行可能性を維持しながらも、高い補正正確性を保った。
• 2つの実世界コーパス（自然言語会話システム（cars）およびトランスクリプションタイピングシナリオ（secretary））において、強力な性能を示し、ドメイン間での適応性を示した。
• フレームワークは拡張性を備えており、意味的フレーズや会話行動の検出のためのレイヤーを追加可能であり、データベースクエリへの直接マッピングを可能にする。