[論文レビュー] On the Strengths of Cross-Attention in Pretrained Transformers for Machine Translation.

Mozhdeh Gheini, Xiang Ren+1 more|arXiv (Cornell University)|Apr 18, 2021

Topic Modeling被引用数 2

ひとこと要約

この論文は、機械翻訳のための事前学習済みTransformerモデルを微調整する際、新しい言語を追加する場合に、クロスアテンションパラメータのみを更新すればよく、最小限のパラメータ更新で競争力のあるBLEUスコアが達成できることを示している。これにより、多言語にわたるタイプ埋め込みの整合性が向上し、深刻な忘却が軽減され、ゼロショット翻訳が可能になる。

ABSTRACT

We study the power of cross-attention in the Transformer architecture within the context of machine translation. In transfer learning experiments, where we fine-tune a translation model on a dataset with one new language, we find that, apart from the new language's embeddings, only the cross-attention parameters need to be fine-tuned to obtain competitive BLEU performance. We provide insights into why this is the case and further find that limiting fine-tuning in this manner yields cross-lingually aligned type embeddings. The implications of this finding include a mitigation of catastrophic forgetting in the network and the potential for zero-shot translation.

研究の動機と目的

• 機械翻訳における事前学習済みTransformerを新しい言語に適応させる際のクロスアテンションの役割を調査すること。
• 継続的学習における深刻な忘却を軽減するために、微調整中に凍結できるTransformerアーキテクチャのどのコンponentが適しているかを同定すること。
• 学習済み埋め込みの多言語的整合性を分析することで、ゼロショット翻訳の可能性を探ること。
• 多言語モデルに新しい言語を追加する際、なぜクロスアテンションパラメータのみで効果的な適応が可能なのかを理解すること。

提案手法

• 他のすべての層を凍結したまま、新しい言語のデータに対して事前学習済み多言語Transformerモデルを、クロスアテンションパラメータのみを更新する形で微調整する。
• 微調整中に埋め込みを更新しないで、新しい言語の埋め込みのみを入力として使用する。
• 標準的なエンコーダー・デコーダーの序列列目的関数を用い、クロスアテンション機構を活用して、入力言語と出力言語の表現を一致させる。
• 得られたクロスアテンション重みとトークン埋め込みを分析し、多言語的整合性と一般化能力を評価する。
• 新しい言語の翻訳タスクにおけるBLEUスコアを用いて、パラメータ効率の良い微調整戦略の有効性を測定する。
• 完全な微調整や他のパラメータ効率の良い手法と比較することで、妥当性と効率性を検証する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み多言語Transformerに新しい言語を追加する際、クロスアテンションパラメータのみを微調整することで、競争力のある翻訳性能が達成可能か？
• RQ2 クロスアテンション層に限定して微調整することで、モデルの埋め込みにおける多言語的整合性が維持されたり向上したりするか？
• RQ3 このパラメータ効率の良いアプローチは、継続的な多言語学習における深刻な忘却をどの程度軽減できるか？
• RQ4 この手法により、ターゲット言語に対して明示的な微調整なしにゼロショット翻訳が可能になるか？
• RQ5 多言語Transformerアーキテクチャにおいて、クロスアテンションはどのように言語間の一般化を可能にしているか？

主な発見

• 他のすべての層を凍結したままクロスアテンションパラメータのみを微調整することで、新しい言語の翻訳タスクで競争力のあるBLEUスコアが達成された。
• この手法により、多言語にわたるタイプ埋め込みの整合性が得られ、モデルがクロスアテンションを通じて言語間で共有表現を学習していることが示された。
• モデルの大部分を凍結することで、新しい言語に対する継続的学習における深刻な忘却が顕著に軽減された。
• パラメータ効率の良い戦略により、明示的な微調整なしに未学習の言語ペアに対しても一般化が可能となり、ゼロショット翻訳が実現した。
• クロスアテンション機構は、パラメータの小さなサブセットしか更新しない状況でも、新しい言語への効果的な転送を可能にする中心的な役割を果たしている。
• 最小限の更新でさえも、元の言語の性能が強く保たれていることから、クロスアテンションが多言語一般化を維持する鍵であると考えられる。