[論文レビュー] Encoder-Decoder Models Can Benefit from Pre-trained Masked Language Models in Grammatical Error Correction

Masahiro Kaneko, Masato Mita+3 more|arXiv (Cornell University)|May 3, 2020

Natural Language Processing Techniques参考文献 36被引用数 7

ひとこと要約

本稿では、事前学習済みのマスキング言語モデル（MLM）、例えばBERTをGEC固有のデータで微調整した後、その文脈的表現をGECモデルの追加特徴として使用することで、エンコーダ-デコーダモデルの文法的誤り訂正（GEC）性能を向上させる新規手法を提案する。特に、文法的誤り検出（GED）で微調整したBERT-fuse GEDは、BEA-2019およびCoNLL-2014ベンチマークで最先端の性能を達成し、標準的な初期化法や特徴融合法を上回っている。

ABSTRACT

This paper investigates how to effectively incorporate a pre-trained masked language model (MLM), such as BERT, into an encoder-decoder (EncDec) model for grammatical error correction (GEC). The answer to this question is not as straightforward as one might expect because the previous common methods for incorporating a MLM into an EncDec model have potential drawbacks when applied to GEC. For example, the distribution of the inputs to a GEC model can be considerably different (erroneous, clumsy, etc.) from that of the corpora used for pre-training MLMs; however, this issue is not addressed in the previous methods. Our experiments show that our proposed method, where we first fine-tune a MLM with a given GEC corpus and then use the output of the fine-tuned MLM as additional features in the GEC model, maximizes the benefit of the MLM. The best-performing model achieves state-of-the-art performances on the BEA-2019 and CoNLL-2014 benchmarks. Our code is publicly available at: https://github.com/kanekomasahiro/bert-gec.

研究の動機と目的

• 事前学習済みのMLM（例：BERT）が文法的に正しいテキストで学習されているのに対し、GECコーパスでは誤りを含む入力分布が一般的であるというギャップを解消すること。
• 標準的なMLMの統合方法（例：初期化や特徴融合）が、GEC性能の向上に実際に有効であるかどうかを調査すること。
• GECモデルにおける表現を特徴として使用する前に、GECデータでMLMを微調整する新しい手法を提案・評価すること。
• MLMのタスク固有の微調整が、シーケンス・ツー・シーケンス型GECモデルにおけるその有用性を高めることを特定すること。

提案手法

• GECコーパスを用いて、文法的誤り検出（GED）タスクで事前学習済みのBERTモデルを微調整し、誤りを含む入力分布に適応した表現を得る。
• 微調整済みBERTの最終層からの文脈的表現を、エンコーダ-デコーダ型GECモデルの追加入力特徴として使用する。
• 本手法（BERT-fuse GED）を標準的手法と比較する：BERT初期化（BERT-init）および事前学習済みBERTを用いた特徴融合（BERT-fuse）。
• 併せて、BERTをGEC訂正タスクそのもので直接微調整したバージョン（BERT-fuse mask）の評価も行う。
• 最良のモデルを組み合わせるR2L再ランク付け技術を用いて、さらなる性能向上を図る。
• ERRANTツールキットを用いて、時制、冠詞、前置詞、句読点などの異なる誤りタイプにおける性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みのマスキング言語モデル（例：BERT）は、エンコーダ-デコーダ型GECモデルの性能を向上させることができるか？
• RQ2 GEC固有のデータで微調整した事前学習済みMLMの方が、事前学習状態のまま使用する場合よりも優れた性能を発揮するか？
• RQ3 F0.5スコアの観点から、BERT-fuse GEDはBERT-initおよびBERT-fuseと比較して、さまざまな誤りタイプにおいてどのように性能を発揮するか？
• RQ4 微調整済みBERT表現を追加特徴として使用することは、BERTパラメータを直接初期化するのと比較して、より優れた結果をもたらすか？
• RQ5 BERT-fuse GED手法をアンサンブルおよび再ランク付け技術と組み合わせることで、標準的なGECベンチマークで最先端の性能を達成できるか？

主な発見

• GECタスクの文法的誤り検出（GED）で微調整したBERTの表現を特徴として使用するBERT-fuse GED手法は、すべての評価済みデータセットでBERT-initおよびBERT-fuseを上回った。
• BERT-fuse GEDモデルは、BEA-2019およびCoNLL-2014ベンチマークで最先端の性能を達成し、モデルアンサンブルを用いることでF0.5スコアが0.2ポイント向上した。
• 微調整済みBERT表現は、元のBERTとは異なり、隠れ空間において正しい語の使用と誤った語の使用を明確に区別している。
• 時制（VERB:TENSE）、冠詞（DET）、前置詞（PREP）、句読点（PUNCT）といった主な誤りタイプすべてで性能が向上し、F0.5スコアの上昇幅は1.3～4.4ポイントにのぼった。
• 隠れ表現の可視化により、微調整済みBERTが文法的誤り情報を正しくエンコードし、正しいと誤った語の使用に対して明確なクラスタリングを形成していることが確認された。
• BERT-fuse GEDはBERT-fuse maskを常に上回ったことから、GED固有の微調整がMLMの表現をGECタスクにより適切に適合させていることが示された。