[論文レビュー] Facebook AI WMT21 News Translation Task Submission

Chau Tran, Shruti Bhosale+4 more|arXiv (Cornell University)|Aug 6, 2021

Natural Language Processing Techniques被引用数 9

ひとこと要約

Facebook AIは、14の言語方向における多言語ニューラル機械翻訳システムを提案する。このシステムは、大規模なバックトランスレーション、多言語データマイニング、密度型およびスパース型の混合専門家（MoE）アーキテクチャ、ドメイン特化微調整、ノイズ混在チャネル再ランク付けを活用している。このシステムは、WMT2020優勝モデルと比較して平均で+2.0 BLEUの向上を達成し、10の言語方向で1位を記録した。これは、多言語モデルが高リソースおよび低リソース設定の両方で、二言語ベースラインを上回ることを示している。

ABSTRACT

We describe Facebook's multilingual model submission to the WMT2021 shared task on news translation. We participate in 14 language directions: English to and from Czech, German, Hausa, Icelandic, Japanese, Russian, and Chinese. To develop systems covering all these directions, we focus on multilingual models. We utilize data from all available sources --- WMT, large-scale data mining, and in-domain backtranslation --- to create high quality bilingual and multilingual baselines. Subsequently, we investigate strategies for scaling multilingual model size, such that one system has sufficient capacity for high quality representations of all eight languages. Our final submission is an ensemble of dense and sparse Mixture-of-Expert multilingual translation models, followed by finetuning on in-domain news data and noisy channel reranking. Compared to previous year's winning submissions, our multilingual system improved the translation quality on all language directions, with an average improvement of 2.0 BLEU. In the WMT2021 task, our system ranks first in 10 directions based on automatic evaluation.

研究の動機と目的

• 多様な言語ペアにおいて、多言語翻訳モデルが二言語ベースラインを翻訳品質の面で上回ることを示すこと。
• データスケーリング、モデルアーキテクチャ、トレーニング技術が多言語翻訳パフォーマンスに与える影響を調査すること。
• バックトランスレーション、ドメイン特化微調整、アンサンブルの有効性を多言語環境で評価すること。
• 高リソースおよび低リソース言語の両方で最先端のパフォーマンスを達成する統合型多言語システムを開発すること。
• データマイニング、MoEスケーリング、再ランク付けといった技術の累積的効果を最終的な翻訳品質にどのように与えるかを定量化すること。

提案手法

• WMT、ccMatrix、ccAligned、OPUS、およびマイニングされたビテキストデータを組み合わせて、14の言語方向で多言語モデルをトレーニングする。
• Commoncrawlからの単語文データを用いた大規模なバックトランスレーションを実施し、ニュースドメインデータとのn-gram言語モデル類似度でフィルタリングを行う。
• 多言語サブワードトークナイザを採用し、最大128エキスパート、24/24モデルヘッドを備えた密度型およびスパース型の混合専門家（MoE）モデルをトレーニングする。
• ニュースドメインデータを用いたドメイン特化微調整を実施し、バックトランスレーションによる翻訳的表現（translationese）への過剰適合を是正する。
• 出力の流暢さとBLEUスコアの向上を図るために、ノイズ混在チャネル再ランク付けを適用する。
• 特に中国語やその他のスクリプトにおいて重要である punctuation 標準化のための言語固有のポストプロセッシングを実装する。

実験結果

リサーチクエスチョン

• RQ1 1つの多言語モデルが、多様な言語ペアにおいて二言語モデルを上回る翻訳品質を達成できるか？
• RQ2 バックトランスレーションは多言語モデルにどのように影響を与えるか。特に、高リソース設定では翻訳的表現（translationese）を導入する可能性があるため。
• RQ3 ドメイン特化微調整は、バックトランスレーションによって引き起こされる分布シフトをどの程度是正できるか？
• RQ4 モデルスケーリング、MoEアーキテクチャ、アンサンブルが多言語翻訳パフォーマンスに与える貢献度はどの程度か？
• RQ5 データマイニング、単語文フィルタリング、ポストプロセッシングが、最終的なBLEUスコアにどのように総合的に影響を与えるか？

主な発見

• 多言語モデルは、14のすべての言語方向において、WMT2020優勝モデルと比較して平均で+2.0 BLEUの向上を達成した。
• 自動評価に基づく14の言語方向のうち10方向で1位を記録し、特にハッサ語やアイスランド語のような低リソースペアで顕著な向上を示した。
• ドメイン特化微調整により、翻訳的表現の悪影響が軽減され、高リソース方向（例：zh-en、cs-en）ではBLEUが最大+0.4向上した。
• 標準化された句読点処理のためのポストプロセッシングにより、中国語ではBLEUがほぼ+5向上した。これは、スコアリングにおいて極めて重要な役割を果たしていることを示している。
• MoE-128 24/24アーキテクチャが最も優れたパフォーマンスを示し、多言語モデルが二言語モデルよりもスケーリングの恩恵をより大きく受けることを示した。
• アンサンブルと再ランク付けにより、段階的な向上が得られ、再ランク付けは平均でBLEUを0.3～0.5向上させ、特に低リソース設定で顕著であった。