[論文レビュー] Subword Segmentation and a Single Bridge Language Affect Zero-Shot Neural Machine Translation

Annette Rios, Mathias Müller+1 more|arXiv (Cornell University)|Nov 3, 2020

Natural Language Processing Techniques参考文献 16被引用数 6

ひとこと要約

本論文は、多言語モデルにおけるゼロショットニューラル機械翻訳を調査し、言語固有のサブワード分割とマルチブリッジ学習（非英語並列データの使用）が性能を顕著に向上させることを示している。英語バイアスとサブワードコピーリングを低減することで、ゼロショット方向で最大8.1 BLEUの向上が達成され、特にマルチブリッジデータとバックトランスレーションファインチューニングによって最良の結果が得られた。

ABSTRACT

Zero-shot neural machine translation is an attractive goal because of the high cost of obtaining data and building translation systems for new translation directions. However, previous papers have reported mixed success in zero-shot translation. It is hard to predict in which settings it will be effective, and what limits performance compared to a fully supervised system. In this paper, we investigate zero-shot performance of a multilingual EN$\leftrightarrow${FR,CS,DE,FI} system trained on WMT data. We find that zero-shot performance is highly unstable and can vary by more than 6 BLEU between training runs, making it difficult to reliably track improvements. We observe a bias towards copying the source in zero-shot translation, and investigate how the choice of subword segmentation affects this bias. We find that language-specific subword segmentation results in less subword copying at training time, and leads to better zero-shot performance compared to jointly trained segmentation. A recent trend in multilingual models is to not train on parallel data between all language pairs, but have a single bridge language, e.g. English. We find that this negatively affects zero-shot translation and leads to a failure mode where the model ignores the language tag and instead produces English output in zero-shot directions. We show that this bias towards English can be effectively reduced with even a small amount of parallel data in some of the non-English pairs.

研究の動機と目的

• 多言語モデルにおけるゼロショットニューラル機械翻訳の不安定さと性能のばらつきを調査すること。
• サブワード分割戦略がサブワードコピーリングとゼロショット翻訳品質に与える影響を分析すること。
• 英語を唯一のブリッジ言語として使用する場合、ゼロショット翻訳の失敗モードにどのような影響を与えるかを評価すること。
• 最小限の非英語並列データを追加することで、英語バイアスを軽減し、ゼロショット一般化性能を向上させられるかを検討すること。
• アーキテクチャの変更なしに、データおよび前処理に基づく単純な改善策を同定し、ゼロショット性能を向上させること。

提案手法

• 共有パラメータと言語固有のターゲットトークン（EN ↔ {FR, CS, DE, FI}）を用いて、WMTデータ上で多言語NMTモデルを学習する。
• サブワードコピーリングを低減し、ゼロショット性能を向上させるために、言語固有のBPE分割を共同学習されたBPEと比較する。
• 非英語並列データ（例：CS↔DE、FR↔FI）を少量含めることで、マルチブリッジ学習を導入し、英語中心のバイアスを低減する。
• ゼロリソーステストセットを用いて、パatienceベースの早期停止基準を適用したバックトランスレーションとファインチューニングを実施する。
• エンコーダ表現を複数言語間で整合させるために、交差エントロピーとコサイン距離を組み合わせたハイブリッド損失関数を用いる。
• バックトランスレーションとエンコーダ整合性の両方を用いたファインチューニングにより、ゼロショット方向における累積的利得を評価する。

実験結果

リサーチクエスチョン

• RQ1 共同学習と言語固有の分割の違いが、サブワードコピーリングとゼロショット翻訳品質にどのように影響するか？
• RQ2 なぜ英語中心の多言語モデルでは、非英語入力に対して英語出力を生成するという失敗モードが生じるのか？
• RQ3 最小限の非英語並列データを追加することで、ゼロショット翻訳における英語バイアスを軽減できるか？
• RQ4 バックトランスレーションとエンコーダ整合性は、多言語NMTにおけるゼロショット性能をどの程度向上させるか？
• RQ5 なぜゼロショット翻訳性能はトレーニングランやチェックポイント間で著しく不安定になるのか？

主な発見

• ゼロショット翻訳性能は、トレーニングラン間で6 BLEU以上もばらつきを示しており、厳密な評価の必要性を示している。
• 言語固有のサブワード分割は、トレーニング中のサブワードコピーリングを低減し、共同学習BPEと比較してゼロショットBLEUを最大8.1ポイント向上させる。
• 英語中心のモデルは、入力が他の言語であっても、ゼロショット方向で英語出力を強く生成するバイアスを示している。
• たとえ少量の非英語並列データ（例：CS↔DE、FR↔FI）を追加しても、英語バイアスを顕著に低減し、ゼロショット性能を向上させる。
• バックトランスレーションとエンコーダ整合性は累積的な利得をもたらし、最良のシステムでは6つのゼロショット方向で25.2 BLEUを達成し、ピVOTベースラインより1.5 BLEU向上した。
• マルチブリッジデータとバックトランスレーションファインチューニングの組み合わせが最も高い性能を示し、単一ブリッジおよびベースラインシステムを上回った。