[論文レビュー] Neural Network Translation Models for Grammatical Error Correction

Shamil Chollampatt, Kaveh Taghipour+1 more|arXiv (Cornell University)|Jun 1, 2016

Natural Language Processing Techniques参考文献 14被引用数 39

ひとこと要約

この論文は、文脈的モデリングと誤り訂正の両方を向上させるために、2つのニューラルネットワークモデル（ニューラルネットワークグローバルリソースモデル：NNGLM および ニューラルネットワークジョイントモデル：NNJM）を統合することで、文脈ベースの統計的機械翻訳（SMT）を、文法的誤り訂正（GEC）に向けたものに強化する手法を提案している。これらのモデルは連続的単語表現と非線形マッピングを活用し、CoNLL 2014 テストセットで41.75のF₀.₅スコアを達成し、従来のSMTベースおよびニューラル機械翻訳システムを上回る最先端の性能を実現した。

ABSTRACT

Phrase-based statistical machine translation (SMT) systems have previously been used for the task of grammatical error correction (GEC) to achieve state-of-the-art accuracy. The superiority of SMT systems comes from their ability to learn text transformations from erroneous to corrected text, without explicitly modeling error types. However, phrase-based SMT systems suffer from limitations of discrete word representation, linear mapping, and lack of global context. In this paper, we address these limitations by using two different yet complementary neural network models, namely a neural network global lexicon model and a neural network joint model. These neural networks can generalize better by using continuous space representation of words and learn non-linear mappings. Moreover, they can leverage contextual information from the source sentence more effectively. By adding these two components, we achieve statistically significant improvement in accuracy for grammatical error correction over a state-of-the-art GEC system.

研究の動機と目的

• 文脈ベースのSMTがGECにおいて抱える限界、例えば離散的単語表現やグローバルな文脈の欠如を是正すること。
• 連続的空間表現による単語とフレーズの表現を組み込むことで、一般化性能と訂正精度を向上させること。
• ニューラルネットワークグローバルリソースモデルおよびジョイントモデルがSMTベースのGECシステムをどのように向上させるかを検証すること。
• 追加の学習データに依存せずに、CoNLL 2014 GECベンチマークで最先端の性能を達成すること。

提案手法

• GECを『悪い』英語から『良い』英語への翻訳タスクとして扱う文脈ベースのSMTフレームワークを適用する。
• 全文の文脈を活用して訂正における単語選択を改善する、ニューラルネットワークグローバルリソースモデル（NNGLM）を統合する。
• ソース文とターゲット文の間で非線形的で文脈依存のマッピングを学習する、ニューラルネットワークジョイントモデル（NNJM）を組み込む。
• 標準的なSMT翻訳モデルおよび言語モデルに加え、ニューラルコンponentを組み込んだ対数線形特徴結合を用いる。
• 平行な誤り訂正文対を用いてニューラルモデルを学習させ、連続的ベクトル表現および文脈依存性を学習する。
• 両方のニューラルコンponentをベースラインSMTシステムに同時に統合し、文脈的および非線形モデリングによって流暢さと正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークベースのモデルは、文脈ベースのSMTのGEC性能を向上させることができるか？
• RQ2 連続的空間表現と非線形マッピングは、従来の離散的SMTモデルと比較して、誤り訂正においてどのように向上をもたらすか？
• RQ3 NNGLM と NNJM は、語の組み合わせや語の選択誤りなど、多様な誤りタイプに対して、どの程度相乗効果を発揮するか？
• RQ4 追加の学習データなしで、ニューラル強化SMTシステムは最先端の結果を達成できるか？

主な発見

• 提案手法は、CoNLL 2014 テストセットで41.75のF₀.₅スコアを達成し、以前の最先端システム（F₀.₅ = 39.90）を顕著に上回った。
• NNGLM と NNJM の両方を統合した結果、ベースラインSMTシステムに比べてF₀.₅スコアが1.17ポイント向上した。
• NNGLM は全文の文脈を活用することで単語選択と語の組み合わせの訂正を向上させたが、NNJM は非線形マッピングにより文の流暢さを向上させた。
• より大きな学習データを使用しなかったにもかかわらず、著しく多くのデータを使用したYuanとBriscoe（2016）を1.85ポイントのF₀.₅スコアで上回った。
• ニューラルモデルは、標準的なSMTおよび言語モデルと比較して、一般化性能と文脈モデリングの両面で優れた性能を示した。
• 一因として、未知語（UNK）トークンの処理に起因するスペルミス訂正の限界が観察された。稀な語や誤字の語は、ベースラインと比較して効果的に訂正されにくかった。