[論文レビュー] Neural Language Correction with Character-Based Attention

Ziang Xie, Anand Avati+3 more|arXiv (Cornell University)|Mar 31, 2016

Natural Language Processing Techniques参考文献 26被引用数 124

ひとこと要約

この論文は、言語訂正のための注意機構付き文字レベルのエンコーダ-デコーダを提案し、CoNLL-2014で最先端の結果を達成、データ拡張と編集分類器で改善。

ABSTRACT

Natural language correction has the potential to help language learners improve their writing skills. While approaches with separate classifiers for different error types have high precision, they do not flexibly handle errors such as redundancy or non-idiomatic phrasing. On the other hand, word and phrase-based machine translation methods are not designed to cope with orthographic errors, and have recently been outpaced by neural models. Motivated by these issues, we present a neural network-based approach to language correction. The core component of our method is an encoder-decoder recurrent neural network with an attention mechanism. By operating at the character level, the network avoids the problem of out-of-vocabulary words. We illustrate the flexibility of our approach on dataset of noisy, user-generated text collected from an English learner forum. When combined with a language model, our method achieves a state-of-the-art $F_{0.5}$-score on the CoNLL 2014 Shared Task. We further demonstrate that training the network on additional data with synthesized errors can improve performance.

研究の動機と目的

• ノイズの多い、学習者生成テキストに対する言語訂正の動機付けと、固定エラータイプ分類器を超えた柔軟なエラー処理。
• 文字レベルの入力/出力と注意機構を備えたニューラルエンコーダ-デコーダを提案し、正字・OOVを含む誤りを扱う。
• Lang-8とCoNLLデータセットでの有効性を示し、データ拡張と精度志向のフィルタリングを検討。

提案手法

• 入力を圧縮表現へ写像するピラミッド型の多層双方向エンコーダを使用。
• エンコーダとデコーダの両方で文字レベルで動作し、内容ベースの注意機構を用いる。
• 注意付きGRUベースのデコーダで1文字ずつデコードする。
• 提案出力をビームサーチと調整可能な重み lambda を用いて言語モデルと組み合わせる。
• レーベンシュタイン整列済みの金標準編集を用いて提案編集をフィルタし、精度を向上させる編集分類器を訓練。
• ArtOrDetとNnタイプの合成エラーで訓練を拡張しリコールを向上。

実験結果

リサーチクエスチョン

• RQ1 注意機構を備えた文字レベルのエンコーダ-デコーダは、学習者テキストの綴り間違い、希少語、句読点を含む多様なエラーに対処できるか？
• RQ2 言語モデルと編集分類を統合することで、標準ベンチマークにおいて精度と全体的な訂正品質が改善されるか？
• RQ3 合成エラーを用いたデータ拡張が文法誤り訂正の性能に与える影響は？

主な発見

Method	P	R	F0.5
AMU	41.62	21.40	35.01
CUUI	41.78	24.88	36.79
CAMB	39.71	30.10	37.33
Ours (no EC)	45.86	26.40	39.97
Ours (+ EC)	49.24	23.77	40.56
Ours (A1)	32.56	14.76	26.23
Ours (A2)	44.04	14.83	31.59
A1 (A2)	50.47	32.29	45.36
A2 (A1)	37.14	45.38	38.54

• Lang-8 のテストセットで、エンコーダ-デコーダのみ、または言語モデルと組み合わせた場合に強い結果を達成（BLEU の改善が観測される）。
• CoNLL-2014 テストセットでは、データ拡張と編集分類を含む変種で最先端の性能を実証し、MT、LMランキング、ルールベースのシステムを上回る。
• データ拡張（合成された ArtOrDet および Nn エラー）により開発セットの F0.5 が 31.55 から 34.81 に向上し、特定のエラータイプのリコールが特に改善。
• CoNLL 開発セットで、最良のシステム（EC および augmentation を組み合わせたもの）は F0.5 が約 40.56 付近となり、ArtOrDet および Nn エラータイプのリコールが改善。