[論文レビュー] Stronger Baselines for Grammatical Error Correction Using Pretrained Encoder-Decoder Model

Satoru Katsumata, Mamoru Komachi|arXiv (Cornell University)|May 24, 2020

Natural Language Processing Techniques参考文献 16被引用数 5

ひとこと要約

本稿では、大規模な偽コーパスにおけるタスク固有の事前学習を必要とせず、文法的誤り訂正（GEC）の強力で汎用的なベースラインとして、事前学習済みの BART エンコーダーデコーダーモデルを用いる手法を提案する。この手法は、英語 GEC において最先端のモデルと同等の性能を達成し、微調整のみで複数言語で優れた結果を示しており、BART が GEC のシンプルで高性能なベースラインとして有効であることを示している。

ABSTRACT

Studies on grammatical error correction (GEC) have reported the effectiveness of pretraining a Seq2Seq model with a large amount of pseudodata. However, this approach requires time-consuming pretraining for GEC because of the size of the pseudodata. In this study, we explore the utility of bidirectional and auto-regressive transformers (BART) as a generic pretrained encoder-decoder model for GEC. With the use of this generic pretrained model for GEC, the time-consuming pretraining can be eliminated. We find that monolingual and multilingual BART models achieve high performance in GEC, with one of the results being comparable to the current strong results in English GEC. Our implementations are publicly available at GitHub (https://github.com/Katsumata420/generic-pretrained-GEC).

研究の動機と目的

• タスク固有の大量偽コーパスにおける事前学習を必要とせず、汎用的な事前学習エンコーダーデコーダーモデルが文法的誤り訂正（GEC）の強力なベースラインとして機能できるかを調査すること。
• 英語、ドイツ語、チェコ語、ロシア語の GEC タスクにおいて、単言語および多言語 BART モデルの性能を評価すること。
• 広範な偽コーパス生成とタスク指向の事前学習に依存する既存の最先端モデルと比較して、BART のような汎用的事前学習モデルの有効性を評価すること。
• BART の事前学習目的（シーケンスのマスキングとシャッフル）が、語順や標点記号に関連する多様な誤りタイプに対処するのに十分なインダクティブバイアスを提供するかを評価すること。

提案手法

• 大規模な偽コーパスにおける追加の事前学習を一切行わず、英語、ドイツ語、チェコ語、ロシア語の標準的な GEC データセットに対して単語および多言語 BART モデルを微調整する。
• BART モデルの事前学習目的（トークンのスパンをマスキング・シャッフルし、元のシーケンスを予測する）を、GEC に一般化しやすいインダクティブバイアスとして活用する。
• 既存の GEC データセットから得られる並列単語文（元の文と修正済み文）を用いて、標準的なシーケンス・ツー・シーケンス学習と交差エントロピー損失を適用する。
• BEA-19 および WMT データセットにおける標準指標（精度 P、再現率 R、F0.5 スコア）を用いて性能を評価する。
• Náplava と Straka (2019) や Kaneko 他 (2020) といった、広範な偽コーパス生成とタスク指向の事前学習に依存する強力なベースラインと比較する。
• 複数のランダムシードを用いたアンサンブルモデルやアブレーションスタディを実施し、BART を用いた GEC の性能の安定性と頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 BART のような汎用的事前学習エンコーダーデコーダーモデルは、大規模な偽コーパスにおけるタスク固有の事前学習を一切行わずに、GEC で競争力のある性能を達成できるか？
• RQ2 複数言語にまたがる低リソースおよび高リソースの GEC 環境において、単語 BART と多言語 BART の性能はどのように比較されるか？
• RQ3 Kaneko 他 (2020) のようなタスク固有の偽コーパス事前学習に依存するモデルと比較して、BART はどの誤りタイプで優位性を示し、あるいは劣位に立つか？
• RQ4 BART の事前学習目的（シーケンスのマスキングとシャッフル）は、語順、標点記号、活用形に関連する誤りに対して十分なインダクティブバイアスを提供するか？
• RQ5 BART は、今後の GEC 研究における信頼できるシンプルなベースラインとして機能できるか？特に、複雑な偽コーパス生成パイプラインの必要性を低減できるか？

主な発見

• 英語 GEC の BEA-19 テストセットにおいて、単語 BART モデルは F0.5 スコア 74.1 を達成し、現在の強力な結果と同等の性能を示しており、強力なベースラインとしての有効性を裏付けている。
• ドイツ語 GEC では、多言語 BART（mBART）モデルは最先端モデルより F0.5 スコアで 4.45 ポイント低いが、微調整のみで依然として高い性能を示している。
• チェコ語 GEC では、mBART ベースのモデルが最先端モデルより F0.5 スコアで 6.65 ポイント低い結果を示しており、低リソース環境において多言語事前学習がノイズをもたらす可能性があることを示唆している。
• ロシア語 GEC では、mBART モデルは最先端モデルより著しく性能が低いが、1000万件の偽コーパスで微調整した際には性能が向上したため、データ不足が主な要因であると仮説される。
• BART ベースのモデルは、PUNCT エラーにおいて Kaneko 他 (2020) より 5.6 F0.5 ポイント高い性能を示しており、BART の事前学習目的が標点記号の修正に有効であることを示している。
• Kaneko 他 (2020) は、ORTH および SPELL エラーにおいて BART ベースのモデルを 5 F0.5 ポイント以上上回っており、偽コーパス事前学習における文字レベルの誤りモデリングが、BART のスパンマスキング目的よりもこれらの誤りに対してより効果的であることを示唆している。