[論文レビュー] Back-translation for Large-Scale Multilingual Machine Translation

Baohao Liao, Shahram Khadivi+1 more|arXiv (Cornell University)|Sep 17, 2021

Natural Language Processing Techniques参考文献 16被引用数 4

ひとこと要約

本論文は、大規模な多言語ニューラル機械翻訳における制約付きサンプリングに基づくバックトランスレーション手法を提案し、より小さな語彙と選別された単語語彙の英語データが性能向上に寄与することを示している。制約付きサンプリングにより生成された合成データを反復的に微調整することで、1.2Bパラメータのモデルを用い、WMT-21の小規模タスクで34.96および33.34の平均spBLEUスコアを達成し、2位を獲得した。

ABSTRACT

This paper illustrates our approach to the shared task on large-scale multilingual machine translation in the sixth conference on machine translation (WMT-21). This work aims to build a single multilingual translation system with a hypothesis that a universal cross-language representation leads to better multilingual translation performance. We extend the exploration of different back-translation methods from bilingual translation to multilingual translation. Better performance is obtained by the constrained sampling method, which is different from the finding of the bilingual translation. Besides, we also explore the effect of vocabularies and the amount of synthetic data. Surprisingly, the smaller size of vocabularies perform better, and the extensive monolingual English data offers a modest improvement. We submitted to both the small tasks and achieved the second place.

研究の動機と目的

• 低リソース環境におけるバックトランスレーション技術を用いて、多言語ニューラル機械翻訳の性能を向上させること。
• 多言語環境下における異なるバックトランスレーションサンプリング戦略（ビームサーチ、制約なしサンプリング、制約付きサンプリング）の影響を調査すること。
• 語彙サイズと合成単語語彙データの量が翻訳品質に与える影響を評価すること。
• リソース制約下での効率的なモデルトレーニングとデータキュレーションの最適化を図ること。
• 特に低リソース言語対における大規模な多言語翻訳タスクで高い性能を達成すること。

提案手法

• 平行単語語彙データと平行トレーニングデータを用いて微調整された多言語トランスフォーマー・モデルを採用し、合成データ生成に1.2Bパラメータのモデル（Trans_big）を用いた。
• 制約付きサンプリングを適用し、予測語を高確率の候補に制限することで、合成元側の文の多様性と品質を向上させた。
• 低リソース言語間のデータ分布を均衡化するために、温度スケーリング（T=5）を用い、文数に応じてサンプリング重みを調整した。
• 合成データを250トークン未満で、かつソース・ターゲット長比が1.8未満の文に限定することで、品質と一貫性を維持した。
• 反復的微調整を実施：まずTrans_baseを平行データで微調整し、その後そのモデルで合成データを生成し、最後に組み合わせデータで2度目の微調整を実施した。
• 単語語彙の英語データを慎重に選別し、限界効果が顕著になる閾値を超えると効果が著しく低下するため、合成データ生成には600万文に限定した。

実験結果

リサーチクエスチョン

• RQ1 ビームサーチ、制約なしサンプリング、制約付きサンプリングといった異なるバックトランスレーションサンプリング手法は、多言語翻訳性能にどのように影響を与えるか？
• RQ2 語彙サイズを小さくすることで、多言語翻訳品質、特に低リソース環境下で向上するのか？
• RQ3 多言語システムにおけるバックトランスレーションに最適な英語単語語彙データ量は何か？
• RQ4 言語の類似性（例：東欧・中央ヨーロッパ語対東南アジア語）がバックトランスレーションの有効性に与える影響は何か？
• RQ5 大規模事前学習モデルから得られる高品質な合成データは、小規模で低リソースの翻訳タスクの性能向上に寄与するか？

主な発見

• ビームサーチや制約なしサンプリングとは対照的に、制約付きサンプリングは多言語バックトランスレーションにおいて優れた性能を示した。これは二国語環境での報告とは対照的である。
• 128K語彙のほうが256K語彙よりも優れた性能を示し、一般化性能の向上とノイズの低減が示唆された。
• 600万文を超える英語単語語彙データを使用しても、僅かな改善しか得られず、その閾値を超えると限界効果が顕著に現れた。
• 制約付きサンプリング手法により、特に類似語を含む多言語環境下で、混合言語の合成文の生成リスクが低減された。
• 1.2Bパラメータの大きなモデルから生成された合成データを用いた反復的微調整により、Small Task 2のdevtestセットで33.01のspBLEUスコアを達成した。
• 最終提出は、WMT-21の両方の小規模タスクで2位を獲得し、それぞれSmall Task 1と2の非公開テストセットで平均34.96および33.34のspBLEUスコアを記録した。