[論文レビュー] Multilingual Machine Translation Systems from Microsoft for WMT21 Shared Task

Jian Yang, Shuming Ma+9 more|arXiv (Cornell University)|Nov 3, 2021

Natural Language Processing Techniques参考文献 27被引用数 15

ひとこと要約

本論文は、WMT21共同タスク用にマイクロソフトが開発した多言語機械翻訳システムを提示する。このシステムは、事前学習済みのDeltaLM-Largeモデルを活用し、大規模な多言語データで微調整し、段階的学習と反復的バックトランスレーションを適用することで性能を向上させた。システムは自動評価指標において、3つの評価トラックすべてで最先端の結果を達成した。

ABSTRACT

This report describes Microsoft's machine translation systems for the WMT21 shared task on large-scale multilingual machine translation. We participated in all three evaluation tracks including Large Track and two Small Tracks where the former one is unconstrained and the latter two are fully constrained. Our model submissions to the shared task were initialized with DeltaLM\footnote{\url{https://aka.ms/deltalm}}, a generic pre-trained multilingual encoder-decoder model, and fine-tuned correspondingly with the vast collected parallel data and allowed data sources according to track settings, together with applying progressive learning and iterative back-translation approaches to further improve the performance. Our final submissions ranked first on three tracks in terms of the automatic evaluation metric.

研究の動機と目的

• 大規模な多言語データを活用して、WMT21共同タスク用に高性能な多言語機械翻訳システムを開発すること。
• 段階的微調整と反復的バックトランスレーションが多言語翻訳性能を向上させる有効性を調査すること。
• ゼロショットおよび低リソース翻訳方向における、DeltaLMのような事前学習済み多言語モデルの影響を調査すること。
• 制限された計算リソース下でのモデル容量と学習効率の最適化を図ること。
• 制約なしおよび完全に制約のある評価トラックにおいて、多言語翻訳で最高の結果を達成すること。

提案手法

• システムは、公開済みのDeltaLM-Large事前学習済みエンコーダーデコーダーモデルを初期化として用い、CCAligned、OPUS-100、および社内データを含む多様なソースからの大規模な多言語並列データで微調整する。
• 段階的学習は、最初に24層のエンコーダーを持つ浅いモデルを訓練し、その後12層の新しい層を追加することで36層の深いモデルに拡張する。
• 反復的バックトランスレーションを用いて合成並列データを生成し、モノリンガルデータに対して複数ラウンドのバックトランスレーションを適用することで、データ品質とカバレッジを向上させる。
• 二重擬似並列データは、同じ英語モノリンガル文を複数のターゲット言語に翻訳することで構築され、非英語方向のデータ多様性を向上させる。
• Small Track #2ではハイブリッド翻訳戦略を採用し、直接翻訳が英語を経由するピボット翻訳を上回る場合に限り、直接翻訳を適用する。そうでない場合はピボット翻訳を選択する。
• モデル選定は推論速度と性能のバランスを考慮し、LargeおよびSmall Track #2には24層エンコーダー、Small Track #1には36層モデルを提出した。

実験結果

リサーチクエスチョン

• RQ1 大規模な設定下で、DeltaLM-Large事前学習モデルが多言語翻訳の基盤としてどれほど有効であるか？
• RQ2 浅いアーキテクチャから深いアーキテクチャにスケーリングする際、段階的学習がモデル性能をどの程度向上させるか？
• RQ3 反復的バックトランスレーションは、特に低リソース言語対において翻訳品質を顕著に向上させることができるか？
• RQ4 二重擬似データ生成は、特に非英語言語において多言語翻訳性能をどのように向上させるか？
• RQ5 低リソース翻訳方向におけるデータの不均衡な分布に対処する最適な戦略は何か—直接翻訳かピボットベースの翻訳か？

主な発見

• 最終システムであるDeltaLM + Zcodeは、Large Trackで16.63のBLEUスコアを達成し、すべての提出物の中で1位となった。
• Small Track #1では37.59のBLEUスコアを記録し、同トラックで最高の性能を達成した。
• Small Track #2では33.89のBLEUスコアを獲得し、より小規模かつ不均衡な学習データであったにもかかわらず、再び1位を獲得した。
• アブレーションスタディの結果、各コンポonent（段階的学習、データ選択、モデル深さ）が顕著に寄与しており、完全なシステム（①）はベースラインから+9.41 BLEUポイントの向上を達成した。
• Small Track #2におけるハイブリッド戦略は、直接翻訳またはピボット翻訳のみの方法に比べて約+0.5 BLEUポイントの性能向上をもたらし、不均衡データに対する有効性を確認した。
• 深層モデル（36層エンコーダー）は浅層モデル（24層エンコーダー）と同等の性能を達成したが、これは低リソース方向において、容量の増加にもかかわらず過学習の可能性を示唆している。