[論文レビュー] Neural Networks for Text Correction and Completion in Keyboard Decoding

Shaona Ghosh, Per Ola Kristensson|arXiv (Cornell University)|Sep 19, 2017

Natural Language Processing Techniques参考文献 28被引用数 56

ひとこと要約

本論文は、同時のテキスト修正と補完のための、文字ベースのCNN-GRUエンコーダと語彙レベルGRU注意ディコーダ（CCEAD）を提示し、Twitterの打ち間違いとOpenSubtitles由来データを結合したデータセット上でエンドツーエンドに訓練され、従来の言語モデルよりはるかに小さなフットプリントで、競争力のCERと語彙精度を達成する。

ABSTRACT

Despite the ubiquity of mobile and wearable text messaging applications, the problem of keyboard text decoding is not tackled sufficiently in the light of the enormous success of the deep learning Recurrent Neural Network (RNN) and Convolutional Neural Networks (CNN) for natural language understanding. In particular, considering that the keyboard decoders should operate on devices with memory and processor resource constraints, makes it challenging to deploy industrial scale deep neural network (DNN) models. This paper proposes a sequence-to-sequence neural attention network system for automatic text correction and completion. Given an erroneous sequence, our model encodes character level hidden representations and then decodes the revised sequence thus enabling auto-correction and completion. We achieve this by a combination of character level CNN and gated recurrent unit (GRU) encoder along with and a word level gated recurrent unit (GRU) attention decoder. Unlike traditional language models that learn from billions of words, our corpus size is only 12 million words; an order of magnitude smaller. The memory footprint of our learnt model for inference and prediction is also an order of magnitude smaller than the conventional language model based text decoders. We report baseline performance for neural keyboard decoders in such limited domain. Our models achieve a word level accuracy of $90\%$ and a character error rate CER of $2.4\%$ over the Twitter typo dataset. We present a novel dataset of noisy to corrected mappings by inducing the noise distribution from the Twitter data over the OpenSubtitles 2009 dataset; on which our model predicts with a word level accuracy of $98\%$ and sequence accuracy of $68.9\%$. In our user study, our model achieved an average CER of $2.6\%$ with the state-of-the-art non-neural touch-screen keyboard decoder at CER of $1.6\%$.

研究の動機と目的

• モバイルキーボード向けのデバイス上での、資源効率の高いテキスト修正と補完の必要性を動機づける。
• エラーを同時に修正しテキストを補完するエンドツーエンドのシーケンス・ツー・シーケンスモデルを提案する。
• ノイズを扱い言語モデル効果を提供するため、文字レベルのエンコーダと注意機構を持つ語彙レベルのデコーダを活用する。
• 実データおよび合成ノイズデータでの有効性を示しつつ、小さなメモリフットプリントを維持する。

提案手法

• エラー表現を捉える文字ベースのCNN-GRUエンコーダと、暗黙的な言語モデルとして機能する語彙ベースのGRU注意デコーダという2部構成のアーキテクチャを提案する。
• Twitterの打ち間違いとOpenSubtitles由来のテキストを組み合わせたOpenTypo上でのエンドツーエンドの共同訓練を用いて、ノイズから正しい表現への写像をモデル化する。
• 入力がノイズのある文字列、出力が修正済みの語彙列となるシーケンス・ツー・シーケンスフレームワークを採用し、エンコーダからデコーダへの注意機構を用いたコンテクストを提供する。
• 幅2–4のCNNフィルタを5フィルタで文字をエンコードし、GRUサイズを256、単一層の語彙レベルGRUデコーダ（サイズ256）へ入力する。
• デコーダをエンコーダの最終状態から初期化し、エンコーダ状態に対する注意を適用して生成のためのコンテクストベクターを形成する。
• 語彙上のクロスエントロピー損失（デコーダ内の語彙は約3000語）で訓練し、Adam最適化を用いる。）

実験結果

リサーチクエスチョン

• RQ1 文字レベルのCNN-GRUエンコーダと語彙レベルの注意デコーダを組み合わせたモデルは、資源制約のあるデバイス上でタイポを同時に修正し、テキストを補完できるか？
• RQ2 エンドツーエンドの訓練を混合ノイズデータセットで行うと、従来のスペルチェック＋言語モデルベースのベースラインと比較して実際のユーザ入力に対する頑健性が向上するか？
• RQ3 デバイス上のキーボードデコードタスクにおける精度とモデルフットプリントのトレードオフはどうなるか？
• RQ4 提案モデルは実ユーザデータおよびオープンドメインのノイズテキストデータセットで、最先端の非ニューラルデコーダと比較してどう性能を示すか？

主な発見

• モデルはTwitter打ち間違いデータセットで語彙精度が90%、CERが2.4となる。
• OpenTypoデータセットとして新規OpenSubtitles由来データで、語彙精度が98%、シーケンス精度が0.689に達する。
• 8名のユーザ調査では実入力でCERが約2.6%となり、非ニューラルのタッチスクリーンデコーダのCER1.6%、物理キーボードの2.1%と競合する。
• モデルは従来の言語モデルベースのデコーダと比較して、メモリフットプリント・訓練時間・コーパスサイズの面で一桁分小さい。
• 訓練データセット（OpenTypoデータを含む）は推論とベンチマーク用のオープンソースツールとして公開される。