[論文レビュー] Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation

Biao Zhang, Philip Williams+2 more|arXiv (Cornell University)|Apr 24, 2020

Natural Language Processing Techniques参考文献 35被引用数 82

ひとこと要約

本論文は、言語認識型コンポーネント、より深いアーキテクチャ、そして Random Online Backtranslation (ROBt) によって massively multilingual NMT を大幅に強化し、二言語モデルやピボット法に近い性能を達成するとともに、ゼロショット翻訳を大幅に向上させる。

ABSTRACT

Massively multilingual models for neural machine translation (NMT) are theoretically attractive, but often underperform bilingual models and deliver poor zero-shot translations. In this paper, we explore ways to improve them. We argue that multilingual NMT requires stronger modeling capacity to support language pairs with varying typological characteristics, and overcome this bottleneck via language-specific components and deepening NMT architectures. We identify the off-target translation issue (i.e. translating into a wrong target language) as the major source of the inferior zero-shot performance, and propose random online backtranslation to enforce the translation of unseen training language pairs. Experiments on OPUS-100 (a novel multilingual dataset with 100 languages) show that our approach substantially narrows the performance gap with bilingual models in both one-to-many and many-to-many settings, and improves zero-shot performance by ~10 BLEU, approaching conventional pivot-based methods.

研究の動機と目的

• 多様な言語を扱う際の容量ボトルネックを動機づけ、解決する。
• ゼロショット翻訳の品質を向上させ、オフターゲット翻訳を減らす。
• 多言語翻訳性能を高めるためのアーキテクチャとデータ駆動戦略を探求する。
• 言語認識型コンポーネントと深い Transformer アーキテクチャの有効性を評価する。
• ゼロショット方向のためのスケーラブルなバック翻訳ベースのファインチューニング手法を提案・評価する。

提案手法

• English中心のデータ（OPUS-100）を用いたTransformerベースの多言語NMTを採用する。
• ターゲット言語トークンに基づく正規化を条件づける言語認識型層正規化（LaLn）の導入。
• エンコーダとデコーダの間に言語認識型線形変換（LaLt）を導入し、ターゲット言語ごとに翻訳写像を適応。
• モデル容量を増やすためにTransformerアーキテクチャを深くする。
• Random Online Backtranslation（ROBt）を開発：ファインチューニング時にゼロショット方向の疑似並列データを生成するため、ランダムに抽出された中間言語でオンラインバック翻訳を行う。
• OPUS-100 上で one-to-many および many-to-many の設定の両方を評価し、ゼロショット翻訳の BLEU と翻訳言語の精度を報告する。

実験結果

リサーチクエスチョン

• RQ1 モデル容量を増やすことが、多対多の言語方向における多言語NMTの性能にどのように影響しますか？
• RQ2 言語認識型正規化と言語認識型線形変換は容量ボトルネックを緩和し、ゼロショット翻訳を改善しますか？
• RQ3 オンラインバック翻訳（ROBt）はオフターゲット翻訳を減らし、ゼロショットBLEUを向上させ、ピボット法に近づきますか？
• RQ4 深層化したTransformerアーキテクチャは、言語認識型コンポーネントと比較して、Massively multilingual NMT の性能とスケーラビリティにどのように影響しますか？
• RQ5 これらの手法の有効性に対する言語ペアごとの訓練データサイズの影響はどれですか？

主な発見

• 多言語NMTは、モデル容量の増加によって大きな改善を得て、二言語モデルとの差を縮め、特に低リソース言語で顕著である。
• 言語認識型モデリング（LaLnとLaLt）はゼロショットの性能を大幅に改善し、オフターゲット翻訳を減らす。LaLt が顕著な向上をもたらす。
• Transformerを深くすることは効果を生み出し、LaLnおよびLaLtと組み合わせると、アブレーションの中で最も良い結果を得る。
• Random Online Backtranslation（ROBt）はオフターゲット翻訳を約50%削減し、ゼロショットBLEUを約10ポイント向上させ、ピボット法に近づき、数千ステップで収束する。
• OPUS-100（100言語で55M文ペア）において、深いTransformer、LaLn、LaLt、ROBt の組み合わせは、二言語NMTおよびピボット法との差を縮め、ゼロショットの改善を大幅に達成する。
• ゼロショット翻訳の精度（ACC zero）は、ROBt 使用で約35–50% の利得から約85–87%へ向上し、ゼロショットBLEUの利得は最大で 10.11 points 観測された。