[論文レビュー] Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data

Wei Zhao, Liang Wang+3 more|arXiv (Cornell University)|Mar 1, 2019

Natural Language Processing Techniques参考文献 35被引用数 24

ひとこと要約

この論文は、文法的誤り訂正（GEC）のためのコピー拡張型Transformerアーキテクチャを提案しており、元の文から変更なしで、および未知語（OOV）の語を直接コピーすることで、性能を著しく向上させている。自己教師ありの自己符号化器を用いて未ラベルデータ上で完全に事前学習し、トークンレベルおよび文レベルのマルチタスク学習を統合することで、CoNLL-2014テストセットにおいてF₀.₅スコア61.15という、これまでにない最先端の成績を達成した。これは、先行手法よりも4.9ポイント優れている。

ABSTRACT

Neural machine translation systems have become state-of-the-art approaches for Grammatical Error Correction (GEC) task. In this paper, we propose a copy-augmented architecture for the GEC task by copying the unchanged words from the source sentence to the target sentence. Since the GEC suffers from not having enough labeled training data to achieve high accuracy. We pre-train the copy-augmented architecture with a denoising auto-encoder using the unlabeled One Billion Benchmark and make comparisons between the fully pre-trained model and a partially pre-trained model. It is the first time copying words from the source context and fully pre-training a sequence to sequence model are experimented on the GEC task. Moreover, We add token-level and sentence-level multi-task learning for the GEC task. The evaluation results on the CoNLL-2014 test set show that our approach outperforms all recently published state-of-the-art results by a large margin. The code and pre-trained models are released at https://github.com/zhawe01/fairseq-gec.

研究の動機と目的

• 文法的誤り訂正（GEC）におけるラベル付き学習データの限界を、大規模な未ラベルデータの活用によって克服すること。
• 元の文の変更なしで、および未知語（OOV）語を直接コピーできるようにすることで、GECのシーケンス・ツー・シーケンスモデリングを向上させること。
• トークンレベルおよび文レベルの補助タスクを用いたマルチタスク学習により、モデルの汎化性能と性能を向上させること。
• 自己教師あり自己符号化器を用いた完全事前学習が、コピー拡張型GECアーキテクチャに与える効果を調査すること。
• CoNLL-2014ベンチマークで、既存の手法を上回る最先端の性能を達成すること。

提案手法

• 変更なしで、および未知語（OOV）語を元の入力トークンから直接コピーできるように設計された、コピー拡張型Transformerアーキテクチャを提案し、これらのトークンに対する生成器への依存度を低減する。
• 大規模な未ラベルデータを用いて、One Billion Word Benchmark上で自己教師あり自己符号化器の目的関数を用いて完全に事前学習することで、表現学習を向上させる。
• 各トークンがコピーされるべきか、または修正されるべきかを予測するトークンレベルのマルチタスク学習を導入し、局所的判断を強化する。
• 文全体がそのままでコピーされるべきかを予測する文レベルのマルチタスク学習を適用し、グローバルな一貫性を向上させる。
• コピー機構をアテンションメカニズムに統合し、別個のコピーゲートを介して、デコーダーがコピーのために元のトークンに注目できるようにする。
• 最終的なモデルは、シーケンス生成のための交差エントロピー損失を用いて、CoNLL-2014 GECデータセットで微調整する。

実験結果

リサーチクエスチョン

• RQ1 元の文から変更なしで、および未知語（OOV）語を直接コピーすることで、GECの性能が向上するか？
• RQ2 自己教師あり自己符号化器を用いて大規模な未ラベルデータ上で完全事前学習することで、コピー拡張型GECモデルの汎化性能が向上するか？
• RQ3 トークンレベルおよび文レベルのマルチタスク学習モジュールは、誤り訂正の正確性を向上させるのにどの程度有効か？
• RQ4 完全事前学習を施したコピー拡張アーキテクチャは、既存の最先端GECシステムを上回る性能を発揮できるか？
• RQ5 コピー機能は、意味的または文脈的理解を要する誤りタイプ（特に）にどのような影響を与えるか？

主な発見

• コピー拡張アーキテクチャは、CoNLL-2014テストセットでF₀.₅スコア61.15という、これまでにない最先端の成績を達成し、以前の手法よりも4.9ポイント優れている。
• 「名詞の数」誤りタイプでは72.65％のリCALLを達成しており、語形変化の訂正において優れた性能を示している。
• 「動詞と主語の一致」誤りタイプでは61.79％のリCALLを達成しており、一致関連の訂正において効果的であることが示された。
• 「誤った複合語／慣用句」誤りタイプでは性能が低く、10.38％のリCALLにとどまり、文脈的・文化的に敏感な訂正の困難さが浮き彫りになった。
• 自己教師あり自己符号化器による完全事前学習が、性能向上に顕著に寄与しており、大規模な未ラベルデータを用いた自己教師あり事前学習の価値を示した。
• コピー機構とマルチタスク学習の組み合わせにより、特にOOV語や変更なしの語の処理において、より良い汎化性能が得られた。