[論文レビュー] An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction

Shun Kiyono, Jun Suzuki+3 more|arXiv (Cornell University)|Sep 2, 2019

Natural Language Processing Techniques参考文献 36被引用数 9

ひとこと要約

本稿は、文法的誤り補正（GEC）における偽データの統合の最適な設定を調査し、Gigawordコーパスから生成されたノイズありバックトランスレーションで得られる7000万件の偽データを事前学習に用いることで、性能が著しく向上することを提案している。アーキテクチャの変更なしに、SSE、R2L、SEDといった標準的なトレーニングおよび後処理手法を用いて、CoNLL-2014でF0.5スコア65.0、BEA-2019テストセットで70.2の最先端性能を達成した。

ABSTRACT

The incorporation of pseudo data in the training of grammatical error correction models has been one of the main factors in improving the performance of such models. However, consensus is lacking on experimental configurations, namely, choosing how the pseudo data should be generated or used. In this study, these choices are investigated through extensive experiments, and state-of-the-art performance is achieved on the CoNLL-2014 test set ($F_{0.5}=65.0$) and the official test set of the BEA-2019 shared task ($F_{0.5}=70.2$) without making any modifications to the model architecture.

研究の動機と目的

• 文法的誤り補正（GEC）における偽データの統合のための最も効果的な実験的設定、特にデータ生成法、シードコーパス選定、最適化戦略を同定すること。
• GECコミュニティ内で、偽データの生成および使用方法についての合意が得られていない現状を解消し、これがモデル性能に顕著な影響を及えること。
• モデルアーキテクチャを変更せずに、偽データの設定を最適化することで性能向上を達成できることを示すこと。
• シードコーパスのドメイン（例：Wikipedia、Simple Wikipedia、English Gigaword）および文法的複雑さが、モデルの一般化性能に与える影響を評価すること。
• 本物の並列データと偽の並列データを組み合わせた際の、統合的ファインチューニングと事前学習戦略の有効性を比較すること。

提案手法

• Gigawordコーパスからの文法的に正しい文をノイズで汚して不文法的なソース文を生成するバックトランスレーション（ノイズあり）を用い、7000万件の偽文脈ペairを生成し、seq2seqモデルを事前学習する。
• 本物のBEA-2019トレーニングセットを用いて、最小限の追加的偽データを用いた統合最適化戦略で、事前学習済みモデルをファインチューニングする。
• 偽データのソース文に、1文字あたり0.003の割合で合成スプellingエラー（SSE）を挿入し、文字レベルのノイズを導入することで、耐性を高める。
• 右から左への再スコアリング（R2L）を用い、4つのR2Lモデルを訓練して、左から右へのモデルが出力したnベスト候補を再スコアリングし、アンサンブルデコードによって出力品質を向上させる。
• BERTベースの文単位の誤り検出（SED）モデルを統合し、誤りなしと予測される文をフィルタリングすることで、補正における誤検出（偽陽性）を低減する。
• すべての技術——PretLarge（バックトランスレーション（ノイズあり）による事前学習）、SSE、R2L、SED——を1つの推論パイプラインに統合し、ベンチマークデータセットにおける性能を最大化する。

実験結果

リサーチクエスチョン

• RQ1 バックトランスレーション（ノイズあり）やDirectNoiseなどの偽データ生成法の中で、GECで最も高い性能を発揮するのはどれであり、その理由は何か？
• RQ2 Wikipedia、Simple Wikipedia、English Gigawordなどのシードコーパスの選定が、ドメインおよび文法的複雑さの観点からモデル性能に与える影響は何か？
• RQ3 本物のデータと偽のデータを統合してファインチューニングするのと比較して、大規模な偽データによる事前学習がより効果的であるか、その妥当性とトレードオフは何か？
• RQ4 SSE、R2L、SEDといった追加のタスク固有の技術が性能に与える影響は何か？また、これらは異なるテストセットに一般化可能か？
• RQ5 SEDの統合がBEA-2019では性能向上をもたらす一方で、CoNLL-2014およびJFLEGでは性能を低下させる理由は何か？これはドメイン感受性に何を示唆しているか？

主な発見

• Gigawordコーパスから生成された7000万件のバックトランスレーション（ノイズあり）偽データによる事前学習が、最も強い性能を発揮し、CoNLL-2014でF0.5スコア61.3を達成し、すべての先行単一モデルを上回った。
• Gigawordをシードコーパスとして用いることで、Wikipedia や Simple Wikipedia を上回る性能を発揮した。これは、ノイズが少なく、言語的品質が高いからだと考えられる。
• PretLarge（バックトランスレーション（ノイズあり）による事前学習）と、Gigawordから得た小規模なDirectNoiseデータを用いた統合的ファインチューニングの組み合わせは、性能向上をもたらさなかった。これは、事前学習のみで十分であることを示唆している。
• 合成スプellingエラー（SSE）の挿入により、耐性が向上し、CoNLL-2014でF0.5スコアが65.0、BEA-2019で70.2に上昇し、最先端の性能を達成した。
• 右から左への再スコアリング（R2L）とSEDの統合により、さらなる性能向上が得られ、全パイプライン（PretLarge + SSE + R2L + SED）ではBEA-2019で70.2のF0.5スコアを達成し、BEA-2019共有タスクで最良のシステムを上回った。
• SEDモデルはCoNLL-2014およびJFLEGで性能を低下させた。これは、ドメインに依存する感受性を示しており、BEA-2019のバリデーションスプリットで微調整されたためと考えられる。