[論文レビュー] Improving Grammatical Error Correction with Machine Translation Pairs

Wangchunshu Zhou, Tao Ge+4 more|arXiv (Cornell University)|Nov 7, 2019

Natural Language Processing Techniques参考文献 43被引用数 7

ひとこと要約

この論文は、文法的誤り訂正（GEC）のための新しいデータ合成手法を提案する。この手法は、低品質（第二言語学習者の模倣）と高品質（流暢で文法的に正しい出力を生成）の2つの機械翻訳モデルのペアを用い、単一言語の元データから多様で現実的な誤り訂正文ペアを生成する。このアプローチは、既存のデータ拡張技術を上回り、ルールセットや初期の並列データに依存せずに多様でバイアスの少ない誤りパターンを生成することで、BEA-19およびCoNLL-14ベンチマークで最先端の性能を達成するGECモデルの性能を向上させる。

ABSTRACT

We propose a novel data synthesis method to generate diverse error-corrected sentence pairs for improving grammatical error correction, which is based on a pair of machine translation models of different qualities (i.e., poor and good). The poor translation model resembles the ESL (English as a second language) learner and tends to generate translations of low quality in terms of fluency and grammatical correctness, while the good translation model generally generates fluent and grammatically correct translations. We build the poor and good translation model with phrase-based statistical machine translation model with decreased language model weight and neural machine translation model respectively. By taking the pair of their translations of the same sentences in a bridge language as error-corrected sentence pairs, we can construct unlimited pseudo parallel data. Our approach is capable of generating diverse fluency-improving patterns without being limited by the pre-defined rule set and the seed error-corrected data. Experimental results demonstrate the effectiveness of our approach and show that it can be combined with other synthetic data sources to yield further improvements.

研究の動機と目的

• 既存のGEC用データ合成手法の限界に対処すること。これらの手法は、固定ルールや初期の並列データに依存するため、誤りパターンの範囲が限定的である。
• 手動でアノテートされた誤りデータを必要とせず、多様で現実的な文法的誤り・訂正ペアを生成するデータ拡張技術の開発。
• 第二言語としての英語学習者の誤りパターンを模倣する合成データを用いた事前学習により、GECモデルの性能を向上させること。
• 低品質と高品質な翻訳モデルの対比を活用し、高品質で多様なトレーニング例を生成するGECデータ合成の新しいパラダイムの探求。

提案手法

• 言語モデルの重みを低く設定した文脈依存型SMTモデルを訓練し、『初心者』翻訳者として機能させる。このモデルは、低流暢さと文法的誤りを含む翻訳を生成し、第二言語学習者の出力を模倣する。
• 最先端のNMTモデルを『上級者』翻訳者として用い、同じ元文の流暢で文法的に正しい翻訳を生成する。
• SMTが生成した（誤りを含む）翻訳とNMTが生成した（正しい）翻訳をペアにして、合成された誤り・訂正文ペアを形成する。
• 得られた合成ペアを用いてGECモデルを事前学習し、2つのMTモデルの対比によって誘発される多様な誤りパターンを活用する。
• 同じ元文を両方のMTモデルで使用することで、意味的一致性を保証し、意味のずれ（semantic drift）を最小限に抑えつつ、文法的変異を最大化する。
• BEA-19およびCoNLL-14ベンチマークでこの手法を評価し、ルールベースの汚染、バックトランスレーション、Wikipediaの修正、ラウンドトリップ翻訳などの既存のデータ合成手法と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 異なる品質レベルの2つの機械翻訳モデルのペアが、GECのデータ拡張に適した多様で現実的な誤り・訂正文ペアを生成できるか？
• RQ2 本手法は、ルールベースの汚染、バックトランスレーション、Wikipediaの修正、ラウンドトリップ翻訳といった既存のデータ合成手法と比較して、性能に優れているか？
• RQ3 低品質と高品質なMTモデルのペアによる合成データが、標準ベンチマークにおけるGECモデルの性能をどの程度向上できるか？
• RQ4 本手法は、既存の手法と比較して、実際の第二言語学習者の誤りパターンをより適切に再現しているか？
• RQ5 大規模なアノテート済み誤り・訂正データセットに依存せずに、本手法が最先端のGEC性能を達成できるか？

主な発見

• 提案手法は、既存のデータ合成手法を効果的に補完する多様な誤り・訂正文ペアを生成し、GECモデルの一般化性能を向上させる。
• 低品質（SMT）と高品質（NMT）MTモデルのペアによって生成された合成データは、BEA-19およびCoNLL-14ベンチマークの両方でGECモデルの性能を顕著に向上させる。
• 本手法を事前学習に用いることで、BEA-19およびCoNLL-14ベンチマークで単一モデルとしての最先端性能を達成する。
• 本手法は、ルールベースの汚染、バックトランスレーション、Wikipediaの修正、ラウンドトリップ翻訳の手法よりも、誤りパターンの多様性と有効性の両面で優れている。
• 意味のずれを回避し、訂正文の流暢さを維持しながら、現実的な文法的誤りを導入する。自動評価および人的評価により、その有効性が検証された。
• 性能向上の主な要因は、SMTモデルの直訳的で誤りを含む翻訳と、NMTモデルの流暢で文法的に正しい出力の対比に起因する。この対比が高品質な合成データを生成している。