[論文レビュー] Robsut Wrod Reocginiton via semi-Character Recurrent Neural Network

Keisuke Sakaguchi, Kevin Duh+2 more|arXiv (Cornell University)|Aug 7, 2016

Reading and Literacy Development参考文献 18被引用数 12

ひとこと要約

本稿では、語の構造を開始・内部・終端の文字に対する別個の埋め込みでモデル化することで、ロバストな語認識を実現する半キャラクタ再帰ニューラルネットワーク（scRNN）を提案する。このモデルは、混合語の補正において従来の綴りチェックツールおよびCharCNNを最低42%上回り、語の混同位置に基づく人間らしい読解困難度のパターンを再現し、語認識タスクにおける認知的妥当性を示している。

ABSTRACT

Language processing mechanism by humans is generally more robust than computers. The Cmabrigde Uinervtisy (Cambridge University) effect from the psycholinguistics literature has demonstrated such a robust word processing mechanism, where jumbled words (e.g. Cmabrigde / Cambridge) are recognized with little cost. On the other hand, computational models for word recognition (e.g. spelling checkers) perform poorly on data with such noise. Inspired by the findings from the Cmabrigde Uinervtisy effect, we propose a word recognition model based on a semi-character level recurrent neural network (scRNN). In our experiments, we demonstrate that scRNN has significantly more robust performance in word spelling correction (i.e. word recognition) compared to existing spelling checkers and character-based convolutional neural network. Furthermore, we demonstrate that the model is cognitively plausible by replicating a psycholinguistics experiment about human reading difficulty using our model.

研究の動機と目的

• 人間の脳が文字の入れ替えに耐性を示すのを模倣し、計算効率的でロバストな語認識モデルを構築すること（ケンブリッジ大学効果として知られる現象を参照）。
• ソーシャルメディアやOCR出力で一般的に見られる誤字、挿入、削除、内部文字の混同といったノイズの多いテキスト入力の性能を向上させること。
• モデルが、文字の混同位置に応じた語認識の難易度の差を人間の心理言語学的読解パターンに再現できるかを評価すること。
• 単純なRNNベースのアーキテクチャに半キャラクタ入力表現を組み合わせることで、語の補正タスクで最先端の性能を達成できることを示すこと。

提案手法

• モデルは、順序に依存した処理が可能な再帰的ニューラルネットワーク（RNN）を用い、特にLSTMをメモリセルとして使用する。
• 入力語は、開始（b）、内部（i）、終端（e）の3つのサブベクトルに分割され、半キャラクタ表現 xₙ = [bₙ, iₙ, eₙ]ᵀ を形成する。
• ノイズが加わったまたは混同されたバージョンが与えられた際の正しい語を予測するように学習し、交差エントロピー損失と確率的勾配降下法を用いる。
• 入力構造を変更することで、異なる混同位置を模倣するscRNNのバリエーションを生成する：END（b と i+e）、BEG（b+i と e）、ALL（b+i+e）。
• 標準的な指標（正確度、固定時間類似度）を用いてモデルの性能を評価し、CharCNNおよび従来の綴りチェックツールと比較する。
• 心理言語学的再現は、異なる混同条件でscRNNのバリエーションを学習・テストし、その誤りパターンを人間の眼動画データと比較することで達成する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークモデルは、人間レベルの内部文字入れ替えに対する耐性を示すロバストな語認識を達成できるか？
• RQ2 文字の混同位置（開始、内部、終端）が語認識の難易度に与える影響は何か？ また、これは人間の読解行動と一致するか？
• RQ3 scRNNモデルは、挿入、削除、入れ替えといったさまざまなノイズタイプにおいて、CharCNN や従来の綴りチェックツールを上回る性能を示すか？
• RQ4 scRNNモデルは、語認識の難易度に関する既知の心理言語学的知見をどの程度再現できるか？

主な発見

• scRNNモデルは、混同語補正タスクにおいて、広く使われている綴りチェックツールを最低42%上回り、挿入ノイズでは3%、削除ノイズでは14%の改善を達成した。
• わずか50個の隠れユニット（2 MB）で同等の性能を達成しており、10,000語の英語語彙を区別するにあたり、高い効率性と低リソース要件を示している。
• 内部混同（INT）を適用したscRNNバージョンが最も優れた性能を示し、次いでEND、BEG、ALLの順に劣る。これは人間の読解困難度順序（INT ≤ END < BEG < ALL）と一致する。
• 統計的分析により、ENDおよびBEGモデルの差は有意に大きい（p < 0.01）、またENDとINTの差はわずかに有意（p = 0.07）であり、認知的妥当性を裏付ける。
• 誤り分析から、すべてのscRNNバージョンがアナグラム語や文頭の大文字変換に対して苦戦するが、誤りパターンは各バージョンの構造的設計に一致している。
• 異なる混同条件にさらされた際、モデルは人間の眼動画データのパターン（特に固定時間と再走行率）をうまく再現した。