[論文レビュー] Spelling Error Correction Using a Nested RNN Model and Pseudo Training Data

Hao Li, Yang Wang+3 more|arXiv (Cornell University)|Nov 1, 2018

Natural Language Processing Techniques参考文献 25被引用数 25

ひとこと要約

この論文では、音声的類似性に基づいて生成された疑似データを用いてエンド・トゥ・エンドに訓練される、ネストされたRNNモデルを提案する。このモデルは、語彙的および文脈的情報を統合的に符号化することで、英語の綴り誤り訂正を実現し、CharRNNによる逐次処理のおかげで挿入や削除などの文字レベルの誤りを効果的に捉える。既存のシステム、特にscRNNやLSTM-Char-CNNを上回る性能を発揮する。

ABSTRACT

We propose a nested recurrent neural network (nested RNN) model for English spelling error correction and generate pseudo data based on phonetic similarity to train it. The model fuses orthographic information and context as a whole and is trained in an end-to-end fashion. This avoids feature engineering and does not rely on a noisy channel model as in traditional methods. Experiments show that the proposed method is superior to existing systems in correcting spelling errors.

研究の動機と目的

• ノイズの多いチャネルモデルや特徴工学に依存しないスタンドアロンのニューラルモデルを、綴り誤り訂正用に開発すること。
• 綴り誤り訂正のためのラベル付き学習データの不足を補うために、音声的類似性を用いて大規模な疑似学習データを生成すること。
• 特に音声的または語彙的誤りの混同を含む実語誤りの訂正を改善するため、文字レベルの構造と文脈の両方をモデル化すること。
• 挿入や削除誤りに対して頑健であるモデルを設計すること。これらは畳み込みアプローチでは困難な課題である。

提案手法

• モデルは、文字列からの語彙的特徴を符号化するための文字レベルRNN（CharRNN）を内蔵したネスト構造を採用している。
• 語彙レベルRNN（WordRNN）は、文脈内の符号化済み語表現を処理し、左右の文脈依存性を捉えるために双方向GRUを用いる。
• 疑似学習データは、One Billion Word Benchmarkの語に音声ベースの文字置換を適用することで生成され、アテンションを備えた文字レベル翻訳モデルが使用される。
• モデルはAdamを用いてエンド・トゥ・エンドに訓練され、その後開発セット上でハイパーパrameterを最適化したSGDでファインチューニングされる。
• CharRNNはGRUユニットを介して隠れ状態を逐次計算し、最終的な隠れ状態が語の語彙的埋め込みを表す。
• WordRNNは、双方向GRUを用いてこれらの埋め込みと文脈的情報を統合し、文脈に配慮した訂正意思決定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 疑似データで訓練されたニューラルネットワークモデルは、従来のノイズの多いチャネルモデルに比べ、綴り誤り訂正で優れた性能を達成できるか？
• RQ2 文字レベルと語彙レベルの表現を統合するネストされたRNNアーキテクチャは、内部の文字順序を無視するモデルと比較して、実語誤りの訂正を改善できるか？
• RQ3 音声的に類似する文字置換を用いたデータ拡張は、未観測の綴り誤りに対して一般化性能をどの程度向上させるか？
• RQ4 CharRNNにおける文字の逐次処理は、畳み込みモデルと比較して挿入・削除誤りの処理においてどのように優れているか？

主な発見

• ネストされたRNNモデルはテストセットで最高のF0.5スコアを達成し、PyEnchant、scRNN、LSTM-Char-CNNを顕著に上回った。
• scRNNが最初と最後の文字に依存するため失敗する「though」→「thought」や「smell」→「small」のような実語誤りも、本モデルは正しく訂正できた。
• CharCNNと比較して、CharRNNベースの語の表現は文脈的および構造的情報をより多く保持しており、挿入・削除誤りに対してより頑健である。
• 音声的類似性に基づく疑似データ生成は、学習データを効果的に拡張し、人為的修正なしに未観測の綴り誤りに対しても一般化を可能にした。
• モデルの性能はさまざまな誤りタイプに安定しており、特に音声的誤りの混同を伴う非語彙誤りおよび実語誤りの訂正で顕著な向上が見られた。
• アブレーションスタディの結果、双方向WordRNNと逐次処理のCharRNNを備えたネスト構造が、語彙的および文脈的手がかりを捉える上で不可欠であることが確認された。