[論文レビュー] Weakly Supervised Grammatical Error Correction using Iterative Decoding

Jared Lichtarge, Christopher Alberti+3 more|arXiv (Cornell University)|Oct 31, 2018

Natural Language Processing Techniques参考文献 14被引用数 18

ひとこと要約

この論文は、40億トークンにのわたるWikipediaの編集履歴を事前学習したTransformerモデルを用いて、弱教師付きの文法的誤り訂正（GEC）システムを提案する。この履歴は本質的にノイズが多く、GEC用に整備されていない。本研究では、複数回のパスで段階的な訂正を適用する反復的デコード戦略を導入し、CoNLL’14およびJFLEGベンチマークで顕著な性能向上を達成した。最終段階で人間がアノテートしたGECデータを一切使用せず、単一モデルでF₀.₅が58.3、アンサンブルでGLEUが62.4を達成した。

ABSTRACT

We describe an approach to Grammatical Error Correction (GEC) that is effective at making use of models trained on large amounts of weakly supervised bitext. We train the Transformer sequence-to-sequence model on 4B tokens of Wikipedia revisions and employ an iterative decoding strategy that is tailored to the loosely-supervised nature of the Wikipedia training corpus. Finetuning on the Lang-8 corpus and ensembling yields an F0.5 of 58.3 on the CoNLL'14 benchmark and a GLEU of 62.4 on JFLEG. The combination of weakly supervised training and iterative decoding obtains an F0.5 of 48.2 on CoNLL'14 even without using any labeled GEC data.

研究の動機と目的

• 大規模かつ人間がアノテートしたGEC学習データの不足に応えるために、Wikipediaの編集履歴を弱教師付きのソースとして活用すること。
• ノイズが多くドメインが異なるデータで学習されたモデルの単一スホットデコードの限界を克服するため、反復的訂正プロセスを導入すること。
• 人間の編集者が段階的に編集するスタイルにモデルの挙動を合わせることで、Wikipedia編集履歴からのドメイン転送を改善すること。
• 弱教師付き学習と反復的デコードのみを用いて、CoNLL’14およびJFLEGベンチマークで最先端の結果を達成すること。

提案手法

• Wikipediaの編集履歴から得た41億トークンの生データを用いて、Transformerのエンコーダ・デコーダモデルを事前学習し、各編集を弱教師付きの入力-出力ペアとみなす。
• 各ステップでビームサーチを実行し、元の入力と同一の翻訳コストより低いコストの書き換えのみを採用する、しきい値ベースの反復的デコードアルゴリズムを適用する。
• 各反復で、現在の入力を高信頼度の訂正を加えて新しい文に生成することで、段階的な改善を実現する。
• 意味のある低コストの書き換えのみを許容するしきい値ベースのフィルタリング機構を導入し、不必要なまたは有害な編集を防ぐ。
• Lang-8 GECコーパスで事前学習モデルを微調整し、4つのこのようなモデルをアンサンブルすることで性能をさらに向上させる。
• 最終出力の堅牢性とスムーズさを高めるために、言語モデルとスペルチェックモジュールを統合する。

実験結果

リサーチクエスチョン

• RQ1 大規模でノイズが多いWikipedia編集履歴で事前学習したTransformerモデルは、人間がアノテートしたGECデータを一切使用せずに、競争力のあるGEC性能を達成できるか？
• RQ2 弱教師付きでドメイン外のデータで学習した場合、反復的デコードは単一スホットデコードに比べてGEC性能を顕著に向上させるか？
• RQ3 反復的デコードは、Wikipedia編集と公式なGECタスクとの間のドメインギャップをどの程度緩和できるか？
• RQ4 弱教師付き事前学習に反復的デコードを組み合わせ、Lang-8で微調整し、モデルアンサンブルを行うと、性能にどの程度の影響を与えるか？
• RQ5 Wikipedia編集で学習したモデルは、CoNLL’14 や JFLEG といったGECベンチマークに一般化できるか？ また、先行のSOTA手法と比べてどのように差がつくか？

主な発見

• 人間がアノテートしたGECデータを一切使用せず、Wikipedia編集履歴の事前学習と反復的デコードのみで、CoNLL’14ベンチマークでF₀.₅が48.2を達成した。
• Lang-8で微調整し、反復的デコードを適用した単一モデルは、CoNLL’14でF₀.₅が58.3を達成し、単一モデルとしてのSOTAを樹立した。
• 4つの微調整済みモデルをアンサンブルし、反復的デコードを適用した結果、CoNLL’14でF₀.₅が58.3、JFLEGでGLEUが62.4を達成し、最先端の性能を実現した。
• 反復的デコードは、単一スホットデコードに比べて顕著な性能向上をもたらし、特に微調整を行わず、ノイズの多いデータで学習したモデルでは顕著に顕著な改善が見られた。
• Wikipedia編集で学習したモデルは、文法的ではないがスタイル的に有益な編集（例：簡潔さ、明確さ）を多数行うが、これらはGECタスクには不適切である。これは、微調整によるドメイン適応の必要性を示している。
• Lang-8での微調整により、モデルの挙動は保守的で文法中心の訂正へとシフトし、編集者らしい変更を減らし、GECの目的に適合するようになった。