[論文レビュー] Large-scale Pretraining for Neural Machine Translation with Tens of Billions of Sentence Pairs

Yuxian Meng, Xiangyuan Ren+5 more|arXiv (Cornell University)|Sep 26, 2019

Natural Language Processing Techniques参考文献 72被引用数 8

ひとこと要約

本論文は、400億のバイリンガル文対を用いた大規模事前学習を提案し、神経機械翻訳（NMT）のパフォーマンスを顕著に向上させる。データノイズや学習非効率性といった課題に対処するため、パイプライン化された事前学習とファインチューニング戦略を採用。WMT17中国語-英語ベンチマークにおいて、32.3の新しいSOTA BLEUスコアを達成し、先行SOTA手法から+3.2の向上を達成。

ABSTRACT

In this paper, we investigate the problem of training neural machine translation (NMT) systems with a dataset of more than 40 billion bilingual sentence pairs, which is larger than the largest dataset to date by orders of magnitude. Unprecedented challenges emerge in this situation compared to previous NMT work, including severe noise in the data and prohibitively long training time. We propose practical solutions to handle these issues and demonstrate that large-scale pretraining significantly improves NMT performance. We are able to push the BLEU score of WMT17 Chinese-English dataset to 32.3, with a significant performance boost of +3.2 over existing state-of-the-art results.

研究の動機と目的

• 400億のバイリンガル文対—従来のデータセットと比べて桁違いに大きなデータセット—を用いたNMTシステムの学習が、翻訳パフォーマンスを顕著に向上させるかどうかを調査すること。
• 大規模NMT学習における前例のない課題、すなわちデータノイズ、ドメイン外コンテンツ、そして極めて長い学習時間の影響を軽減すること。
• 強化学習、アライメント再ランク付け、多様なデコード技術といった既存のNMT技術が、大規模事前学習の文脈でどれほど有効であるかを評価すること。
• 大規模事前学習において、中国語の語区切りが必要かどうかを特定すること、特に学習データが豊富な状況において。
• 最適なパフォーマンスと収束速度を実現するため、大規模事前学習とドメイン特化型ファインチューニングを組み合わせた実用的なパイプラインを確立すること。

提案手法

• パイプライン学習戦略を採用：まず全400億文対データセットで事前学習を行い、汎用的な表現を学習し、その後ドメイン特化型サブセットでファインチューニングすることで、適応性と収束速度を向上。
• 50Kのボキャブラリーを有するサブワードBPEトークン化を用い、カバー率と未知語率のバランスを図り、大規模な設定において中国語の語区切りの必要性を回避。
• ファインチューニング段階で、複数の高度なNMT技術を組み合わせる：アライメント再ランク付け（左から右、右から左の生成を併用）、BLEUを最適化するための強化学習（RL）、n-bestリストの品質を向上させる多様なデコード。
• データフィルタリングとドメインに配慮したサンプリングを実装し、大規模な学習セットに含まれるノイズやドメイン外データの影響を軽減。
• 混合精度学習と分散データ並列処理を用いて、計算コストを管理し、学習速度を向上。
• 標準的なWMT17中国語-英語ベンチマークの指標を用いてモデルパフォーマンスを評価し、BLEUスコアとデータサイズ・モデルアーキテクチャに関するアブレーションスタディに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 400億のバイリンガル文対を用いたNMTモデルの学習が、既存のSOTAシステムよりも顕著なパフォーマンス向上をもたらすか。
• RQ2 400億規模のバイリンガルデータセットに含まれるデータノイズとドメイン外コンテンツは、学習段階でどのように効果的に軽減できるか。
• RQ3 大規模NMT学習において、全データセットでの事前学習と収束速度の最適なトレードオフは何か。
• RQ4 バックトランスレーションやモノリンガル言語モデル統合といった既存のNMT技術は、スケールが大きくなった際にも有効に機能するのか、それともパフォーマンスが低下するのか。
• RQ5 極めて大規模なバイリンガルデータでNMTモデルを学習する際、中国語の語区切りは必要か。

主な発見

• 提案された大規模事前学習とファインチューニングパイプラインは、WMT17中国語-英語翻訳ベンチマークで32.3の新しいSOTA BLEUスコアを達成し、先行SOTA結果から+3.2の向上を示した。
• 全400億データセットでの事前学習に続いてドメイン特化型ファインチューニングを実施した場合、事前学習のみの場合（24.7 BLEU）に比べ、顕著に高いパフォーマンス（28.7 BLEU）を達成し、二段階アプローチの有効性を示した。
• 400億データで事前学習したモデルに、モノリンガルデータ拡張技術（言語モデル統合やバックトランスレーション）を適用すると、実際にはパフォーマンスが低下する傾向にあり、おそらくデータスケールの不一致に起因すると考えられる。
• アライメント再ランク付け、強化学習、多様なデコードの各技術が、それぞれ段階的な向上をもたらし、三つの技術を併用した場合に最も高いBLEU（32.29）を達成した。
• 文字ベースのモデルがベースアーキテクチャの中で最高のパフォーマンス（30.1 BLEU）を示し、語ベース（29.4）やBPEベース（29.8）のモデルを上回った。これは、スケールが大きくなるとサブワードまたは文字レベルのトークン化がより効果的であることを示唆している。
• 本研究は、十分な学習データが利用可能な場合、中国語の語区切りは大規模NMTにおいて必要ではないことを確認した。BPEや文字レベルのトークン化を用いて学習したモデルが、語ベースのモデルを上回る性能を示した。