[論文レビュー] Tencent's Multilingual Machine Translation System for WMT22 Large-Scale African Languages

Wenxiang Jiao, Zhaopeng Tu+4 more|arXiv (Cornell University)|Oct 18, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本論文では、WMT22における大規模アフリカ言語の共同タスクにおいて、データ不足、データの不均衡、多言語化のジレンマに直面する Tencent の多言語ニューラル機械翻訳システムを提示している。データ拡張、分布的に頑健な最適化（DRO）、言語系統グループ化を用いてこれらの課題を解決した。本システムは盲検テストセットで1位を獲得し、BLEUスコア17.95を記録し、ベースラインモデルを著しく上回った。

ABSTRACT

This paper describes Tencent's multilingual machine translation systems for the WMT22 shared task on Large-Scale Machine Translation Evaluation for African Languages. We participated in the $\mathbf{constrained}$ translation track in which only the data and pretrained models provided by the organizer are allowed. The task is challenging due to three problems, including the absence of training data for some to-be-evaluated language pairs, the uneven optimization of language pairs caused by data imbalance, and the curse of multilinguality. To address these problems, we adopt data augmentation, distributionally robust optimization, and language family grouping, respectively, to develop our multilingual neural machine translation (MNMT) models. Our submissions won the $\mathbf{1st\ place}$ on the blind test sets in terms of the automatic evaluation metrics. Codes, models, and detailed competition results are available at https://github.com/wxjiao/WMT2022-Large-Scale-African.

研究の動機と目的

• WMT22の大規模多言語翻訳タスクにおいて、特定のアフリカ言語対の並列学習データの不足を解消すること。
• 多様なアフリカ言語対におけるデータの不均衡が引き起こす性能低下を軽減すること。
• 数多くの言語対を扱う多言語ニューラル機械翻訳（MNMT）モデルにおける多言語化のジレンマを軽減すること。
• 公式データと事前学習モデルのみを用いた制限付き学習環境下でも、堅牢でスケーラブルなMNMTシステムを開発すること。

提案手法

• 並列モノリンガルまたはビテクストデータが存在しない低リソース言語対に対して、特別なタグを用いた逆翻訳と自己学習を適用し、合成された並列データを生成した。
• すべての翻訳方向におけるモデル最適化のバランスを図るために、分布的に頑健な最適化（DRO）を採用した。特に英語やフランス語といった主要言語の性能向上に寄与した。
• 言語系統グループ化（LFG）を実装し、言語を系統（例：バントゥ語族、ニロ＝サハラ語族）にクラスタリングし、各グループごとに別々のモデルを学習することで、関係のない言語対間の干渉を低減した。
• 2段階の学習パイプラインを採用した。まず大規模データ（Large-234）で事前学習を行い、その後、より綺麗で小さなデータセット（Base-146 および Eval-106）で微調整することで、合成データからの誤り伝搬を回避した。
• エンコーダーにターゲット言語タグを統合し、ゼロショット転移を強化したが、マルチコア言語設定では顕著な向上は得られなかった。
• 各コンponentの有効性を評価するためのアブレーションスタディを実施した。これには継続的学習、微調整、モデルスケーリングが含まれる。

実験結果

リサーチクエスチョン

• RQ1 データ拡張技術は、並列データが全くない低リソースアフリカ言語対の翻訳性能を効果的に向上させることができるか？
• RQ2 分布的に頑健な最適化（DRO）は、多言語環境下で高リソースと低リソースの両言語対におけるモデル性能をどの程度バランスさせることができるか？
• RQ3 数百の言語対を扱う多言語NMTモデルにおいて、言語系統グループ化は干渉を低減し、翻訳品質を向上させるのにどの程度有効か？
• RQ4 モデル容量の増大またはターゲット言語タグの適用は、マルチコア言語MNMT設定において性能を向上させるか？

主な発見

• 提案されたシステムは盲検テストセットで17.95のBLEUスコアを達成し、ベースラインモデル（15.50 BLEU）を2.45ポイントも上回った。
• 逆翻訳と自己学習によるデータ拡張は、モデルの事前学習に用いた場合に性能向上をもたらしたが、合成データに直接学習させた場合、誤り伝搬のため性能が低下した。
• 分布的に頑健な最適化（DRO）は、すべての言語対で性能を著しく向上させ、特に英語やフランス語のような主要言語に顕著な恩恵を与えた。
• 言語系統グループ化（LFG）は、1対多の翻訳方向で最大の向上を示し、多言語化のジレンマの緩和に有効であることを実証した。
• より綺麗なデータセット（Eval-106）で微調整したモデルは、よりノイズの多い大規模データセット（Large-234）で直接微調整したモデルを上回った。これは、多言語学習においてデータ品質が量よりも優位であることを示唆している。
• 言語系統グループ化とDROを組み合わせたモデルが最高の性能（17.95 BLEU）を記録し、公式のWMT22制限付き翻訳トラックで1位を獲得した。