[論文レビュー] Pretrained Language Models for Document-Level Neural Machine Translation

Liangyou Li, Xin Jiang+1 more|arXiv (Cornell University)|Nov 8, 2019

Natural Language Processing Techniques参考文献 14被引用数 16

ひとこと要約

本稿では、文書レベルのニューラル機械翻訳（NMT）システムを提案する。このシステムは、モノリンガル事前学習言語モデル（BERT）を用いてエンコーダーを初期化し、文脈操作技術（セグメント埋め込み、逆順位置埋め込み、文脈マスク）を採用して大規模な文脈の影響を制御し、正則化のためのマルチタスク学習を導入する。IWSLTベンチマークにおける実験では、Zh-En、Fr-En、Es-Enの全翻訳タスクで、先行研究を上回る顕著なBLEUスコアの向上（最大3.11ポイント）を達成し、大規模文脈NMTにおけるBERT初期化と文脈に配慮した設計の有効性を示している。

ABSTRACT

Previous work on document-level NMT usually focuses on limited contexts because of degraded performance on larger contexts. In this paper, we investigate on using large contexts with three main contributions: (1) Different from previous work which pertrained models on large-scale sentence-level parallel corpora, we use pretrained language models, specifically BERT, which are trained on monolingual documents; (2) We propose context manipulation methods to control the influence of large contexts, which lead to comparable results on systems using small and large contexts; (3) We introduce a multi-task training for regularization to avoid models overfitting our training corpora, which further improves our systems together with a deeper encoder. Experiments are conducted on the widely used IWSLT data sets with three language pairs, i.e., Chinese--English, French--English and Spanish--English. Results show that our systems are significantly better than three previously reported document-level systems.

研究の動機と目的

• 大規模な文脈を用いる場合に生じる文書レベルNMTの性能低下を是正するため、モデルの安定性と関連性を向上させること。
• 文書レベルの並列コーパスの代わりに、モノリンガル事前学習言語モデル（例：BERT）を用いてエンコーダーを初期化する手法の有効性を検討すること。
• 大規模な文脈シーケンスが翻訳出力に与える影響を明示的に制御するためのアーキテクチャ的変更を設計すること。
• マルチタスク学習を用いて一般化性能を向上させ、低リソース環境下での文書レベルNMTにおける過学習を低減すること。

提案手法

• Wikipediaなどの大規模なモノリンガルコーパスで事前学習された多言語またはモノリンガルBERTモデルを用いてエンコーダーを初期化する。
• 入力文とその直前文脈（最大512トークン）を連結し、それらを区別するため[SEP]トークンを挿入する。
• エンコーダー入力における入力文と文脈を区別するため、セグメント埋め込みを導入する。
• 標準的な位置埋め込みの代わりに、文脈から入力への依存関係の方向をよりよくモデル化できるように逆順位置埋め込みを採用する。
• デコード時に文脈マスクを適用し、アテンションが文脈トークンに注目しないようにすることで、生成には常に入力文のみが使用されることを保証する。
• エンコーダーの隠れ状態にマスク言語モデル（MLM）を追加することで、表現学習の正則化を図るマルチタスク学習の目的関数を実装する。

実験結果

リサーチクエスチョン

• RQ1 BERTのようなモノリンガル事前学習言語モデルをエンコーダー初期化に用いることで、文書レベルNMTの性能向上が達成できるか？
• RQ2 最大512トークンの大きな文脈入力を、翻訳品質の低下を伴わずに効果的に統合できるか？
• RQ3 セグメント埋め込み、逆順位置埋め込み、文脈マスクといったアーキテクチャ的変更が、長文脈における訓練の安定化と性能向上に寄与するか？
• RQ4 マスク言語モデルを用いたマルチタスク学習により、文書レベルNMTにおける一般化性能の向上と過学習の低減が達成できるか？

主な発見

• BERTをエンコーダー初期化に用いることで、Zh-Enでは1.04、Fr-Enでは0.64、Es-Enでは0.55のBLEUスコア向上が達成され、モノリンガルデータでの事前学習の価値が示された。
• BERT、文脈操作、マルチタスク学習を統合した完全なシステムは、先行する最先端システムを上回り、Zh-Enで3.11、Es-Enで2.84、Fr-Enで2.06のBLEUスコア向上を達成した。
• 文脈操作技術を適用した場合、小規模文脈と大規模文脈のシステム間の性能差はわずか0.2 BLEUにまで縮小され、文脈の影響が効果的に制御されていることが示された。
• 文脈操作を適用しない場合、大規模な文脈は性能を低下させる（例：学習の発散）が、本手法を用いることで大規模文脈が一貫した性能向上をもたらすようになった。
• アブレーションスタディの結果、BERT、文脈操作、マルチタスク学習の各コンポonentが最終的な性能向上に段階的に寄与していることが確認された。
• 12層の深層エンコーダーとMLM事前学習を組み合わせることでさらなる向上が得られ、Fr-Enでは最大0.64のBLEUスコア向上が達成された。