[論文レビュー] Robust Optimization for Multilingual Translation with Imbalanced Data

Xian Li, Hongyu Gong|arXiv (Cornell University)|Apr 15, 2021

Topic Modeling参考文献 74被引用数 6

ひとこと要約

本稿では、多言語ニューラル機械翻訳における頑健な最適化手法であるCATS（Curvature-Aware Task Scaling）を提案する。CATSは、メタ目的関数を用いて最適化を低曲率で一様に低い損失を持つ領域へ誘導することで、異なる言語からの勾配を適応的に再スケーリングする。CATSは、TED、WMT、OPUS-100といったベンチマークで、高リソース言語の性能を損なうことなく、低リソース言語の性能を0.8–2.2 BLEU向上させ、過パラメータ化や大規模バッチサイズに対しても頑健である。

ABSTRACT

Multilingual models are parameter-efficient and especially effective in improving low-resource languages by leveraging crosslingual transfer. Despite recent advance in massive multilingual translation with ever-growing model and data, how to effectively train multilingual models has not been well understood. In this paper, we show that a common situation in multilingual training, data imbalance among languages, poses optimization tension between high resource and low resource languages where the found multilingual solution is often sub-optimal for low resources. We show that common training method which upsamples low resources can not robustly optimize population loss with risks of either underfitting high resource languages or overfitting low resource ones. Drawing on recent findings on the geometry of loss landscape and its effect on generalization, we propose a principled optimization algorithm, Curvature Aware Task Scaling (CATS), which adaptively rescales gradients from different tasks with a meta objective of guiding multilingual training to low-curvature neighborhoods with uniformly low loss for all languages. We ran experiments on common benchmarks (TED, WMT and OPUS-100) with varying degrees of data imbalance. CATS effectively improved multilingual optimization and as a result demonstrated consistent gains on low resources ($+0.8$ to $+2.2$ BLEU) without hurting high resources. In addition, CATS is robust to overparameterization and large batch size training, making it a promising training method for massive multilingual models that truly improve low resource languages.

研究の動機と目的

• 高リソース言語と低リソース言語の間のデータの不均衡が、多言語翻訳における最適化の課題を引き起こす理由を調査すること。
• 局所的な損失ランドスケープの曲率が、最適化の緊張を生じさせ、高リソース言語が学習を支配し、低リソース言語の性能を低下させることを同定すること。
• この緊張を緩和し、すべての言語における一般化性能を向上させる、原理的で適応的な訓練手法を開発すること。
• 過パラメータ化、大規模バッチサイズ、極端に不均衡なデータ分布といった現実的な条件下での手法の頑健性を評価すること。
• 高リソース言語の性能を犠牲にすることなく、低リソース言語の翻訳性能を向上させることで、NLPにおける公平な進歩を実現すること。

提案手法

• CATSは、すべての言語にわたる一様に低い損失を持つ低曲率近傍へ最適化を誘導するメタ目的関数を導入する。
• 局所的な曲率に基づいて、異なる言語からの勾配を曲率に配慮した重み付け機構を用いて適応的に再スケーリングする。
• 訓練中に動的に勾配スケーリングを調整することで、高リソース言語と低リソース言語の更新の干渉を低減する。
• 概念的に単純で効率的であるため、数多くの言語（数百語）を含む大規模な多言語学習に適している。
• 従来のアップサンプリング手法とは異なり、固定のサンプリングレートや手動でのデータ拡張に依存しない。
• 標準的な訓練パイプラインと互換性があり、Transformerなどの既存モデルとシームレスに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 多言語学習におけるデータの不均衡は、高リソース言語と低リソース言語の間で最適化の緊張をどのように引き起こすか？
• RQ2 局所的な損失ランドスケープの曲率は、多言語翻訳における一般化性能やモデル性能にどの程度影響を及ぼすか？
• RQ3 曲率に基づく適応的勾配再スケーリングは、高リソース性能を損なわず、すべての言語における一般化性能を向上させることができるか？
• RQ4 過パラメータ化モデルや大規模バッチサイズの学習条件下でCATSはどの程度の性能を示すか？（現代の多言語システムで一般的な条件）
• RQ5 多様なデータ不均衡状況下で、CATSは標準的なデータアップサンプリングや他のバランス調整技術を上回る性能を示すか？

主な発見

• CATSは、TED（8言語）、WMT（10言語）、OPUS-100（100言語）のベンチマークで、低リソース言語の性能を0.8–2.2 BLEUの一貫した向上を達成した。
• 高リソース言語の性能に何ら劣化を来さず、バランスの取れた一般化を実現した。
• 特にデータ不均衡度が高く、バッチサイズが大きな状況下で、標準的なアップサンプリングやベースライン学習を上回った。
• 過パラメータ化に対しても頑健であり、標準的な学習が劣化し始める過パラメータ化領域でも性能向上を示した。
• アブレーションスタディにより、CATSは層正則化の除去による利点に加えて、低リソース言語の性能を+0.5 BLEU向上させることを確認した。
• 大規模バッチ学習下で、標準的手法が失敗する状況でも、CATSは低リソース言語における過学習を効果的に緩和した。