[論文レビュー] A Multilayer Convolutional Encoder-Decoder Neural Network for Grammatical Error Correction

Shamil Chollampatt, Hwee Tou Ng|arXiv (Cornell University)|Jan 26, 2018

Natural Language Processing Techniques被引用数 98

ひとこと要約

多層畳み込み型のエンコーダ-デコーダをGECに導入し、最先端の結果を達成するとともにSMTベースラインを上回り、再スコアリングとアンサンブルを活用。

ABSTRACT

We improve automatic correction of grammatical, orthographic, and collocation errors in text using a multilayer convolutional encoder-decoder neural network. The network is initialized with embeddings that make use of character N-gram information to better suit this task. When evaluated on common benchmark test data sets (CoNLL-2014 and JFLEG), our model substantially outperforms all prior neural approaches on this task as well as strong statistical machine translation-based systems with neural and task-specific features trained on the same data. Our analysis shows the superiority of convolutional neural networks over recurrent neural networks such as long short-term memory (LSTM) networks in capturing the local context via attention, and thereby improving the coverage in correcting grammatical errors. By ensembling multiple models, and incorporating an N-gram language model and edit features via rescoring, our novel method becomes the first neural approach to outperform the current state-of-the-art statistical machine translation-based approach, both in terms of grammaticality and fluency.

研究の動機と目的

• 英語テキストにおける文法的・正書法的・共起の誤りを自動的に修正する能力を向上させる。
• 完全な畳み込みエンコーダ-デコーダがGECにおいてRNNベースのニューラルモデルを上回ることを示す。
• 希少語に対処するための事前学習済み埋め込みとサブワード表現を活用する。
• 性能を向上させるためにNグラム言語モデルと再スコアリングによる編集特徴を組み込む。
• アンサンブルが単一モデルを超えるGEC性能の向上につながることを示す。

提案手法

• 七つのエンコーダ層と七つのデコーダ層を持ち、各デコーダ層にアテンションを適用する完全な畳み込みエンコーダ-デコーダアーキテクチャを提案する。
• BPEベースのサブワードトークン化とfastText由来の埋め込みを使用し、大規模な英語コーパスから初期化する。
• fastTextを介して形態素を捉えるために、埋め込みに文字N-gram情報を組み込む。
• ネガティブ対数尤度損失で訓練し、Nesterov加速勾配法で最適化する。
• 左から右へのビーム探索でデコードし、複数モデルをアンサンブルして最終確率を得る。
• 編集操作と言語モデル特徴を含む対数線形モデルでビーム候補を再スコアリングし、MERTで訓練する。

実験結果

リサーチクエスチョン

• RQ1 注意機構を備えた多層畳み込みエンコーダ-デコーダは、文法エラー訂正において再帰型ニューラルモデルを上回ることができるか？
• RQ2 事前学習済み埋め込みとサブワード表現がGECの性能に与える影響は何か？
• RQ3 編集操作と言語モデル特徴を用いたアンサンブルと再スコアリングはGECの正確性と流暢さを向上させるか？
• RQ4 GECの誤りに対する精度と再現率の観点で、畳み込みアーキテクチャはBiLSTMとどう比較されるか？
• RQ5 外部コーパスとウェブ規模の言語モデルを含めることがCoNLL-2014およびJFLEGデータセットに与える効果は何か？

主な発見

システム	並列コーパス	データは公開されていますか？	その他	CoNLL-2014 テストセット - 精度	CoNLL-2014 テストセット - 再現率	CoNLL-2014 テストセット - F0.5
SMT	L8, NUCLE	はい	–	57.94	16.48	38.54
SMT +NNJM	L8, NUCLE	はい	–	58.38	18.83	41.11
MLConv	L8, NUCLE	はい	–	59.68	23.15	45.36
MLConv (4 ens.)	L8, NUCLE	はい	–	67.06	22.52	48.05
MLConv (4 ens.) + EO	L8, NUCLE	はい	–	62.36	27.55	49.78
MLConv embed	L8, NUCLE	はい	Wiki	60.90	23.74	46.38
MLConv embed (4 ens.)	L8, NUCLE	はい	Wiki	68.13	23.45	49.33
MLConv embed (4 ens.) + EO	L8, NUCLE	はい	Wiki	63.12	28.36	50.70
MLConv embed (4 ens.) + EO + LM	L8, NUCLE	はい	Wiki	65.18	32.26	54.13
MLConv embed (4 ens.) + EO + LM + SpellCheck	L8, NUCLE	はい	Wiki, CC	65.49	33.14	54.79

• アンサンブルと再スコアリングを用いた場合、MLConvモデルはCoNLL-2014で従来のニューラル手法とSMTベースラインを上回る。
• fastTextで埋め込みを事前学習し、サブワード単位を使用することで、ランダム初期化やWord2Vec初期化より性能が向上する。
• 編集操作と言語モデル特徴を用いた再スコアリングは、CoNLL-2014でF0.5を大幅に向上させ、JFLEGでGLEU/F0.5を改善する。
• EO/LMを含む4モデルのアンサンブルを用いたMLConvは、一部設定で外部スペルチェックなしで最先端の結果を達成する。
• 畳み込みアーキテクチャは局所的文脈を効果的に捉え、マルチレイヤーアテンションと相まって、多くのケースでRNNより局所的な誤りをより正確に修正する。