[論文レビュー] Language Models are Good Translators

Shuo Wang, Zhaopeng Tu+4 more|arXiv (Cornell University)|Jun 25, 2021

Topic Modeling参考文献 28被引用数 9

ひとこと要約

本稿では、統一された表現を用いて源言語文と標的言語文を同時にモデリングすることで、競争力のある機械翻訳性能を達成する単一の言語モデル、Lm4Mtを提案する。源言語側に徐々に減少する自己符号化損失を導入することで、Lm4Mtはゼロショット翻訳およびピvォットベース翻訳において、標準的なエンコーダ・デコーダ型NMTモデルを上回り、より優れた多言語間知識移転能力と頑健性を示した。

ABSTRACT

Recent years have witnessed the rapid advance in neural machine translation (NMT), the core of which lies in the encoder-decoder architecture. Inspired by the recent progress of large-scale pre-trained language models on machine translation in a limited scenario, we firstly demonstrate that a single language model (LM4MT) can achieve comparable performance with strong encoder-decoder NMT models on standard machine translation benchmarks, using the same training data and similar amount of model parameters. LM4MT can also easily utilize source-side texts as additional supervision. Though modeling the source- and target-language texts with the same mechanism, LM4MT can provide unified representations for both source and target sentences, which can better transfer knowledge across languages. Extensive experiments on pivot-based and zero-shot translation tasks show that LM4MT can outperform the encoder-decoder NMT model by a large margin.

研究の動機と目的

• 単一の言語モデルが、同等のモデルサイズのもとで標準的なエンコーダ・デコーダ型ニューラル機械翻訳（NMT）モデルと同等またはそれ以上の性能を達成できるかどうかを調査すること。
• 源言語側の自己符号化監視が、多言語間表現学習および翻訳品質に与える影響を調査すること。
• 統一された文表現が、ゼロショット翻訳およびピボットベース翻訳の性能向上に寄与するかどうかを評価すること。
• 別個のエンコーダおよびデコーダコンponentsを備えない簡素化されたアーキテクチャが、同等のモデルサイズのもとで強力な性能を維持できるかどうかを検証すること。

提案手法

• Lm4Mtは、同じアーキテクチャとパラメータを用いて、源言語文と標的言語文の両方を生成する単一の自己回帰的言語モデルを採用する。
• 入力テキストの理解を向上させるために、源言語文を再構築するための徐々に減少する自己符号化損失 $\mathcal{L}^{\mathrm{\textsc{AE}}}$ を導入する。
• 翻訳用の $\mathcal{L}^{\mathrm{\textsc{MT}}}$ と源言語再構築用の $\mathcal{L}^{\mathrm{\textsc{AE}}}$ を組み合わせた目的関数でモデルを訓練する。
• 自己符号化損失に段階的に減少する重みを適用することで、訓練の進行に従いその影響を徐々に弱める訓練スケジュールを採用する。
• 統一された表現空間により、特に未学習の翻訳方向において、より優れた多言語間知識移転が実現される。
• 標準ベンチマーク（WMT14英語–ドイツ語および英語–フランス語翻訳）を用いてモデル性能を評価し、損失成分のアブレーションスタディも実施する。

実験結果

リサーチクエスチョン

• RQ1 同じモデルサイズのもとで、単一の言語モデルが標準的なエンコーダ・デコーダ型NMTモデルと同等またはそれ以上の翻訳性能を達成できるか？
• RQ2 源言語側の自己符号化監視は、翻訳品質および頑健性をどのように向上させるか？
• RQ3 言語間で統一された表現が、ゼロショット翻訳およびピボットベース翻訳の性能向上に寄与するか？
• RQ4 自己符号化損失は、多言語翻訳におけるゼロショット一般化にどの程度寄与しているか？

主な発見

• WMT14 英語–ドイツ語翻訳において、Lm4Mt-Baseは29.3 BLEUを達成し、ゼロショット翻訳でTransformer-Baseモデル（24.4 BLEU）を上回った。
• 英語–フランス語翻訳において、Lm4Mt-Baseは42.9 BLEUを達成し、標準ベンチマークで強いベースラインと同等またはそれ以上の性能を示した。
• ゼロショット翻訳において、Lm4Mt-BigはDe→Frで29.5 BLEUを達成したのに対し、Transformer-Bigは26.1 BLEUであった。これは顕著な向上を示している。
• 自己符号化損失 $\mathcal{L}^{\mathrm{\textsc{AE}}}$ を含めることで、En→Deなど一部の翻訳方向でゼロショット性能が10 BLEUポイント以上向上した（例：24.9 vs. 7.9）。
• Lm4Mtは、誤った標的言語への翻訳エラーを低減した。ゼロショットEn→Frにおいて、出力の18.6％が正しく標的言語を特定したが、ベースラインではたった8.6％にとどまった。
• 両モデルが正しく言語を特定した場合でも、Lm4Mtはより高いBLEUスコア（En→Deで24.9 vs. 25.9）を達成しており、翻訳品質が優れていることが示された。