[論文レビュー] Serial or Parallel? Plug-able Adapter for multilingual machine translation.

Yaoming Zhu, Jiangtao Feng+3 more|arXiv (Cornell University)|Apr 16, 2021

Natural Language Processing Techniques被引用数 6

ひとこと要約

本論文は、多言語埋め込みの混同および融合効果を解消することで、パフォーマンスの低下を軽減するためのプラグイン型アダプタフレームワークPAMを提案する。この手法は、埋め込みアダプタとレイヤー アダプタを別々に設け、翻訳品質をIWSLT、OPUS-100、WMTベンチマークで向上させ、シリーズアダプターや多言語 distillation のベースラインを上回る。

ABSTRACT

Developing a unified multilingual translation model is a key topic in machine translation research. However, existing approaches suffer from performance degradation: multilingual models yield inferior performance compared to the ones trained separately on rich bilingual data. We attribute the performance degradation to two issues: multilingual embedding conflation and multilingual fusion effects. To address the two issues, we propose PAM, a Transformer model augmented with defusion adaptation for multilingual machine translation. Specifically, PAM consists of embedding and layer adapters to shift the word and intermediate representations towards language-specific ones. Extensive experiment results on IWSLT, OPUS-100, and WMT benchmarks show that \method outperforms several strong competitors, including series adapter and multilingual knowledge distillation.

研究の動機と目的

• 単言語モデルと比較して、多言語翻訳モデルにおけるパフォーマンスの低下を解消すること。
• パフォーマンス低下の主な要因として、多言語埋め込みの混同および融合効果を特定すること。
• 再訓練を伴わずに言語固有の表現適応が可能なプラグイン型アダプタ機構を開発すること。
• 言語の特異性を表現に保ちながら、ゼロショットおよびフェイワショット多言語翻訳を向上させること。

提案手法

• クロスリンガルな埋め込み干渉を低減するために、入力トークン表現を精緻化する埋め込みアダプターを導入する。
• 変換器エンコーダーおよびデコーダー内にレイヤー アダプターを配置し、中間隠れ状態を言語固有の分布に適応させる。
• 埋め込みおよびレイヤーの両レベルで、各言語ごとに別々のプロジェクションヘッドを学習することで、デフュージョン適応を実現する。
• プラグアンドプレイの方法でアダプターを訓練し、事前学習済みの多言語モデルへの段階的統合を可能にする。
• パラメータ効率の良い微調整を用いて、元のモデルの能力を保持しつつ、言語固有のパターンに適応する。
• シーケンス・ツー・シーケンス翻訳のために、標準的なクロスエントロピー損失を用いてモデルをエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 アダプターを用いたデフュージョンは、多言語翻訳におけるパフォーマンスの低下をどの程度軽減できるか？
• RQ2 ゼロショットおよびフェイワショット設定において、PAMはシリーズアダプターおよび多言語知識蒸留と比較してどのように差をつけるか？
• RQ3 埋め込みとレイヤーの適応を分離することで、多言語表現の質が向上するか？
• RQ4 プラグイン型アダプター設計は、多様な低リソースおよび高リソース言語ペアにおいても強力なパフォーマンスを維持できるか？

主な発見

• PAMは、IWSLT多言語翻訳ベンチマークで最先端のパフォーマンスを達成し、シリーズアダプターを含む強力なベースラインを上回る。
• OPUS-100では、特に低リソース言語ペアにおいて翻訳品質の顕著な向上を示す。
• 複数の言語方向にわたり一貫した改善が見られ、言語多様性に対して高い頑健性を示している。
• アブレーションスタディにより、埋め込みアダプターとレイヤー アダプターの両方が独立してパフォーマンス向上に寄与していることが確認され、デフュージョン設計の有効性が裏付けられた。
• 最小限のパラメータ更新で競争力のある結果を達成しており、効率性およびプラグアンドプレイ互換性を確認した。
• 特にゼロショット翻訳シナリオにおいて、負のトランスファー効果が低減された。