[論文レビュー] Reaching Human-level Performance in Automatic Grammatical Error Correction: An Empirical Study

Tao Ge, Furu Wei+1 more|arXiv (Cornell University)|Jul 3, 2018

Natural Language Processing Techniques参考文献 39被引用数 97

ひとこと要約

本論文は、fluency boost learningとfluency boost inferenceを導入し、畳み込み型 seq2seq GECモデルの流暢性を高め、CoNLL-2014およびJFLEGベンチマークで人間レベルの性能を達成する。さらに、流暢さを段階的に改善するマルチラウンド補正とround-way補正を提案する。

ABSTRACT

Neural sequence-to-sequence (seq2seq) approaches have proven to be successful in grammatical error correction (GEC). Based on the seq2seq framework, we propose a novel fluency boost learning and inference mechanism. Fluency boosting learning generates diverse error-corrected sentence pairs during training, enabling the error correction model to learn how to improve a sentence's fluency from more instances, while fluency boosting inference allows the model to correct a sentence incrementally with multiple inference steps. Combining fluency boost learning and inference with convolutional seq2seq models, our approach achieves the state-of-the-art performance: 75.72 (F_{0.5}) on CoNLL-2014 10 annotation dataset and 62.42 (GLEU) on JFLEG test set respectively, becoming the first GEC system that reaches human-level performance (72.58 for CoNLL and 62.37 for JFLEG) on both of the benchmarks.

研究の動機と目的

• 限られた注釈データにもかかわらず、ニューラルGECでの一般化を改善する動機づけ。
• 多様な学習例を生成するための流暢さ指向データ拡張を提案。
• 文の流暢さを段階的に改善するマルチラウンドおよびround-way推定を開発。
• 流暢さ boost 学習を強化するためのネイティブ英語データの活用。
• 主要なベンチマークで人間の性能に到達またはそれを超える最先端の結果を示す。

提案手法

• 言語モデルからのクロスエントロピーに基づく流暢度スコアを定義し、流暢な文と非流暢な文を識別する（f(x) = 1/(1+H(x))）。
• 流暢さ補強学習を導入し、流暢な文を意味を保ったままより流暢でない形へ変換することで追加の学習ペアを生成（back-boost、self-boost、dual-boost）。
• トレーニングデータのための非流暢候補を生成するためにバックエラーメージングモデルを訓練（back-boost）。
• GECモデル自体がn-best出力から非流暢候補を提案する自己ブースト（self-boost）。
• バックブーストとセルフブーストを組み合わせて多様な非流暁候補生成を最大化するデュアルブースト学習（動的モデル更新を伴う）。
• 訓練データ拡張のために大規模なネイティブデータ（例：English Wikipedia）を用いて学習セットを拡張する（S = S* ∪ C）。
• 複数回の修正を許可する流暢さ補強推論を実装し、各編集が流暢さを改善する場合にマルチラウンドで修正を行う（右から左へと左から右へのデコーダを用いたround-way補正）。
• 畳み込みseq2seqアーキテクチャ（7層）を注意機構とともに採用し、Nesterovモーメントで訓練し、アンサンブルデコードを用いる；評価はCoNLL-2014（F0.5）とJFLEG（GLEU）で実施。

実験結果

リサーチクエスチョン

• RQ1 流暢さに焦点を当てたデータ増強は、元のエラー訂正ペアを超えたGECの一般化を改善できるか？
• RQ2 初期修正後のマルチラウンド/段階的編集（fluency boost inference）は訂正を強化できるか？
• RQ3 デュアルブースト戦略（back-とself-boost）は、単一ブースト手法より多様で有用な学習信号を生み出すか？
• RQ4 意味を変えずに大規模なネイティブデータを組み込むことでGEC性能をさらに向上させることができるか？
• RQ5 ラウンドウェイ補正の右から左、左から右のデコーダは、誤り種別全体のリコールを高める補完的な役割を果たすか？

主な発見

• 提案手法はCoNLL-2014 10-annotationデータセットで75.72 F0.5、JFLEGで62.42 GLEUを達成し、両ベンチマークで人間レベルの性能に到達。
• 流暢さ補強学習は、基盤の畳み込み seq2seqモデルの精度、再現率、F0.5、GLEUを向上させる。
• 流暢さ補強推論はリコールを高める（例：CoNLL-2014 36.30→40.18; CoNLL-10 50.31→53.15）、精度へのトレードオフはあるものの、JFLEGの流暢さを改善。
• ラウンドウェイ補正（右から左、次に左から右）を用いることで、いくつかの誤りタイプのリコールを高め、補完的なデコード順序を検証。
• 流暢さ補強学習を導入したモデル（特に学習と推論の両方を用いる場合）は、従来のGECシステムを上回り、人間の性能に近づくか超えることさえある。
• 大規模なネイティブデータを用いた訓練は流暢さと一般化をさらに向上させ、より頑健な訂正を可能にする。