[論文レビュー] A Comprehensive Survey of Grammar Error Correction

Yu Wang, Yuelin Wang+2 more|arXiv (Cornell University)|May 2, 2020

Natural Language Processing Techniques参考文献 98被引用数 24

ひとこと要約

本サーベイは2010年から2020年までの文法誤り訂正（GEC）研究を包括的にレビューし、5つの主要なデータセット、2つの共有タスク、4つの標準評価指標、および4つのコアなアプローチ（統計的・ニューラル機械翻訳、分類ベース、言語モデルベース手法）をカバーしている。性能向上技術、データ拡張戦略、システム統合パターンを分析し、5つの未解決の研究方向性を提示しており、2010年代後半に人間水準の性能に達したGEC進捗の包括的かつ包括的な回顧録である。

ABSTRACT

Grammar error correction (GEC) is an important application aspect of natural language processing techniques. The past decade has witnessed significant progress achieved in GEC for the sake of increasing popularity of machine learning and deep learning, especially in late 2010s when near human-level GEC systems are available. However, there is no prior work focusing on the whole recapitulation of the progress. We present the first survey in GEC for a comprehensive retrospect of the literature in this area. We first give the introduction of five public datasets, data annotation schema, two important shared tasks and four standard evaluation metrics. More importantly, we discuss four kinds of basic approaches, including statistical machine translation based approach, neural machine translation based approach, classification based approach and language model based approach, six commonly applied performance boosting techniques for GEC systems and two data augmentation methods. Since GEC is typically viewed as a sister task of machine translation, many GEC systems are based on neural machine translation (NMT) approaches, where the neural sequence-to-sequence model is applied. Similarly, some performance boosting techniques are adapted from machine translation and are successfully combined with GEC systems for enhancement on the final performance. Furthermore, we conduct an analysis in level of basic approaches, performance boosting techniques and integrated GEC systems based on their experiment results respectively for more clear patterns and conclusions. Finally, we discuss five prospective directions for future GEC researches.

研究の動機と目的

• 2010年から2020年までの文法誤り訂正（GEC）研究の包括的かつ包括的な回顧録を提供すること。
• 5つの公開GECデータセット、2つの共有タスク、4つの標準評価指標の知識を体系化すること。
• 統計的機械翻訳（SMT）ベース、ニューラル機械翻訳（NMT）ベース、分類ベース、言語モデルベースの4つの基本的GECアプローチの分析と比較すること。
• 最先端GECシステムで用いられる6つの性能向上技術と2つのデータ拡張手法の特定と評価すること。
• 今後のGEC開発のための5つの前向きな研究方向性を提示すること。

提案手法

• 2010年から2020年までのGEC研究に関する体系的文献レビュー。公開データセット、アノテーションスキーマ、評価プロトコルに焦点を当てる。
• GECシステムを4つの主要なアプローチに分類：統計的機械翻訳（SMT）、ニューラル機械翻訳（NMT）、分類ベース、言語モデルベース手法。
• 機械翻訳分野から適応された6つの性能向上技術の分析：アテンション機構、ドロップアウト、ビームサーチ、カリキュラム学習、 adversarial training、アンサンブル手法。
• 2つのデータ拡張技術の検討：バックトランスレーション、ルールベースまたはニューラル手法を用いた誤りの合成生成。
• データセットおよび評価指標ごとの性能トレンドに基づく統合GECシステムの比較的評価。
• ベンチマーク実験の実証的結果を用いて、手法の進化パターンと性能向上の傾向を同定。

実験結果

リサーチクエスチョン

• RQ1 GEC研究のあり方を定義づける主な公開データセット、アノテーションスキーマ、評価指標は何か？
• RQ2 SMTベース、NMTベース、分類ベース、言語モデルベースの4つの主要なアプローチは、アーキテクチャおよび性能においてどのように異なるか？
• RQ3 機械翻訳分野から取り入れられた性能向上技術の中で、GECシステムの正確性向上に最も効果的だったのはどれか？
• RQ4 バックトランスレーションや誤りの合成生成といったデータ拡張戦略は、GECモデルの一般化性能をどのように向上させるか？
• RQ5 現在の人間水準に近い性能を超えて進歩を遂げるための、最も有望な今後の研究方向性は何か？

主な発見

• 2010年代後半に、主にニューラル機械翻訳（NMT）モデルを用いることで、GECで人間水準の性能が達成された。
• NMTベースのアプローチは、特にアテンション機構と深層アーキテクチャを備えた場合、SMTベースの手法を著しく上回った。
• カリキュラム学習や adversarial training といった性能向上技術は、CoNLL-2014 や FCE といった標準ベンチマークで顕著な改善をもたらした。
• バックトランスレーションによるデータ拡張は、低リソース環境下でのゼロショット一般化性能とモデルの頑健性を向上させた。
• 特にアテンションとドロップアウトを組み合わせたNMTを含む、複数の技術を統合したシステムが、公開テストセットで最高のF0.5スコアを達成した。
• 進展にもかかわらず、希少誤りの処理、文の自然さの維持、多様なライティングスタイルやドメインへの一般化といった課題は依然として残っている。