[論文レビュー] Connected Text Recognition Using Layered HMMs and Token Passing

Peter Ingels|ArXiv.org|Jul 31, 1996

Natural Language Processing Techniques参考文献 12被引用数 7

ひとこと要約

本論文は、語彙的補正および学習データからの言語的制約を統合することで、綴りや区切りの誤りからの回復を可能にする、トークン伝達を用いた階層的隠れマルコフモデル（HMM）フレームワークを提示する。このアプローチは、確率的言語モデルと階層的HMMを組み合わせることで語彙的誤り回復を向上させ、ノイズが多いまたは曖昧なテキスト入力の状況でも有効であることを示している。

ABSTRACT

We present a novel approach to lexical error recovery on textual input. An advanced robust tokenizer has been implemented that can not only correct spelling mistakes, but also recover from segmentation errors. Apart from the orthographic considerations taken, the tokenizer also makes use of linguistic expectations extracted from a training corpus. The idea is to arrange Hidden Markov Models (HMM) in multiple layers where the HMMs in each layer are responsible for different aspects of the processing of the input. We report on experimental evaluations with alternative probabilistic language models to guide the lexical error recovery process.

研究の動機と目的

• 学習データからの言語的期待と語彙的補正を組み合わせることで、連結テキスト認識システムにおける語彙的誤り回復を向上させること。
• 階層的HMMアーキテクチャを用いて、手書きまたはノイズの多いテキスト入力における区切りと綴りの誤りに対処すること。
• 確率的言語モデルを多層HMMフレームワークに統合し、堅牢なテキスト処理を実現すること。
• 実世界の学習データを用いて、誤り回復プロセスをガイドする代替言語モデルの評価を行うこと。
• 言語的妥当性と語彙的ルールを活用するトークナイザーを構築し、認識精度を向上させること。

提案手法

• 各層が文字認識、語の区切り、語彙的検証といったテキスト処理の異なる側面を処理する、階層的HMMアーキテクチャを採用する。
• 認識中に仮説の精練を図るために、各層間で信頼度スコアを伝達するトークン伝達を実施する。
• 期待される語の形に基づいて、綴りと区切りの誤りを語彙的ルールで補正する。
• 学習コーパスから抽出した言語的期待を用いて、妥当な語の並びの選択をガイドする。
• 確率的言語モデルを語彙層に統合し、より可能性の高い語の並びに偏向させる。
• HMMによる系列モデリングと動的プログラミング技術を組み合わせ、仮説探索を最適化する。

実験結果

リサーチクエスチョン

• RQ1 ノイズが多いまたは曖昧な入力下で、階層的HMMはどのように連結テキスト認識の堅牢性を向上させるか？
• RQ2 学習コーパスからの言語的期待は、テキスト認識における誤り回復をどの程度向上させるか？
• RQ3 信頼度をHMMの各層間で伝達するトークン伝達は、より良い仮説精練にどの程度効果的か？
• RQ4 どの確率的言語モデル構成が語彙的誤り回復において最高のパフォーマンスを発揮するか？
• RQ5 語彙的および言語的制約の統合により、認識における区切りと綴りの誤りを減少させることができるか？

主な発見

• 階層的HMMアプローチは、語彙的補正と言語的妥当性を組み合わせることで、誤り回復を顕著に向上させる。
• 学習データから抽出した言語モデルを統合することで、曖昧または破損した入力の解消能力が向上する。
• トークン伝達により、HMMの各層間での仮説伝達が効果的に行われ、認識精度が向上する。
• システムは綴りと区切りの両方の誤りから回復できており、ベースライン手法を上回る性能を示す。
• 実験的評価により、言語モデルの選択が誤り回復パフォーマンスに顕著な影響を与えることが確認された。
• 言語的および語彙的制約を統合したため、高誤り率の実世界のテキスト入力に対してもトークナイザーは堅牢性を示した。