[論文レビュー] A Comparison of Transformer and Recurrent Neural Networks on Multilingual Neural Machine Translation

Surafel M. Lakew, Mauro Cettolo+1 more|arXiv (Cornell University)|Jun 18, 2018

Natural Language Processing Techniques参考文献 27被引用数 63

ひとこと要約

本論文は、二言語、複言語、ゼロショットの多言語設定において、TransformerとRecurrent NMTアーキテクチャを定量的に比較し、ポストエディットと詳細なエラー分類を用いて関連言語ペアと非関連言語ペアを分析する。

ABSTRACT

Recently, neural machine translation (NMT) has been extended to multilinguality, that is to handle more than one translation direction with a single system. Multilingual NMT showed competitive performance against pure bilingual systems. Notably, in low-resource settings, it proved to work effectively and efficiently, thanks to shared representation space that is forced across languages and induces a sort of transfer-learning. Furthermore, multilingual NMT enables so-called zero-shot inference across language pairs never seen at training time. Despite the increasing interest in this framework, an in-depth analysis of what a multilingual NMT model is capable of and what it is not is still missing. Motivated by this, our work (i) provides a quantitative and comparative analysis of the translations produced by bilingual, multilingual and zero-shot systems; (ii) investigates the translation quality of two of the currently dominant neural architectures in MT, which are the Recurrent and the Transformer ones; and (iii) quantitatively explores how the closeness between languages influences the zero-shot translation. Our analysis leverages multiple professional post-edits of automatic translations by several different systems and focuses both on automatic standard metrics (BLEU and TER) and on widely used error categories, which are lexical, morphology, and word order errors.

研究の動機と目的

• 二言語、複言語、ゼロショット MT システム間の翻訳品質の違いを評価する。
• 多言語 MT 設定における Recurrent と Transformer アーキテクチャを評価する。
• 関連言語データがゼロショット翻訳の性能に与える影響を調査する。
• アーキテクチャと言語関係にわたる語彙的・形態的・語順のエラーパターンを分析する。

提案手法

• Recurrent (LSTM) と Transformer アーキテクチャの両方を用いて、二言語 (NMT)、多言語 (M-NMT)、およびゼロショット (ZST) MT の設定を実装する。
• 共有 BPE（8,000 マージ規則）と言語フラグトークンを用いて、7言語を前処理し、多言語モデルを構築する。
• 低リソース条件に合わせてハイパーパラメータを調整し、RNN には OpenNMT-py、Transformer には Tensor2Tensor を用いてモデルを訓練する。
• 公式テストリファレンスに対する BLEU と TER で評価し、さらに 9 件の専門ポストエディットから算出した mTER および lmmTER を用いる。
• 語幹化と品詞タグ付けを行って出力を細粒度に誤り分析し、語彙的・形態的・語順のエラーを分類する。

実験結果

リサーチクエスチョン

• RQ1 二言語、複言語、ゼロショットのシステムは、全体の翻訳品質および特定のエラータイプにおいてどのように比較されるか？
• RQ2 タスク間で Recurrent と Transformer アーキテクチャは翻訳品質にどのように影響を与えるか？
• RQ3 関連言語のデータを取り入れることがゼロショット翻訳の性能に与える影響はどのようなものか？
• RQ4 関連言語データは Transformer モデルと Recurrent モデルのどちらでゼロショット翻訳の改善をより促進するか？

主な発見

• Transformer は、二言語、複言語、およびゼロショット設定を通じて、Recurrent よりも一貫して高い BLEU と低い TER を達成し、複言語およびゼロショットのケースで統計的にも有意な改善を示す。
• 多言語モデル (M-NMT) はいくつかのケースで二言語 NMT を上回り、より広範な言語 exposure により mTER と lmmTER の点で堅牢な性能を示す。
• ゼロショット翻訳は実現可能で、特に Transformer アーキテクチャで有効であり、特定のゼロショット設定では二言語ベースラインを上回ることもある。
• 関連言語の方向では、追加の関連言語を含めるとゼロショット性能が向上する（ZST_B）、また Transformer のゼロショットモデルは語彙エラーの改善が顕著に現れる。
• エラー分析では語彙エラーが優勢で、形態学的および語順の寄与は小さい。Transformer ベースの ZST モデルは、バイリンガルベースラインと比較して意味のあるエラー削減を達成する。