[論文レビュー] Modelling Latent Translations for Cross-Lingual Transfer

Edoardo Maria Ponti, Julia Kreutzer+2 more|arXiv (Cornell University)|Jul 23, 2021

Topic Modeling参考文献 52被引用数 10

ひとこと要約

本稿では、ニューラル機械翻訳を潜在変数として扱う統合的潜在翻訳モデルを提案し、クロスリンガル転移を向上させる。エンドツーエンドのファインチューニングを最小リスクトレーニングと複数翻訳のモンテカルロサンプリングを用いて実現。標準の翻訳ベース手法に比べ、最大2.7ポイントの精度向上を達成し、ハイチ・クレオール語のような低リソース言語において特に効果的である。

ABSTRACT

While achieving state-of-the-art results in multiple tasks and languages, translation-based cross-lingual transfer is often overlooked in favour of massively multilingual pre-trained encoders. Arguably, this is due to its main limitations: 1) translation errors percolating to the classification phase and 2) the insufficient expressiveness of the maximum-likelihood translation. To remedy this, we propose a new technique that integrates both steps of the traditional pipeline (translation and classification) into a single model, by treating the intermediate translations as a latent random variable. As a result, 1) the neural machine translation system can be fine-tuned with a variant of Minimum Risk Training where the reward is the accuracy of the downstream task classifier. Moreover, 2) multiple samples can be drawn to approximate the expected loss across all possible translations during inference. We evaluate our novel latent translation-based model on a series of multilingual NLU tasks, including commonsense reasoning, paraphrase identification, and natural language inference. We report gains for both zero-shot and few-shot learning setups, up to 2.7 accuracy points on average, which are even more prominent for low-resource languages (e.g., Haitian Creole). Finally, we carry out in-depth analyses comparing different underlying NMT models and assessing the impact of alternative translations on the downstream performance.

研究の動機と目的

• 翻訳エラーが蓄積され、かつ最高尤度の翻訳のみが使用される従来の翻訳ベースのクロスリンガル転移の限界を解消する。
• 下流の分類器からのフィードバックが不足していることによる、特定のNLUタスク向けの翻訳品質向上を克服する。
• 事前学習モデルを用いて翻訳者と分類器を初期化することで、サンプル効率の良いゼロショットおよびフェイシット転移を可能にする。
• 翻訳品質とモデル選択がマルチリンガルNLUベンチマークにおける下流性能に与える影響を調査する。
• 1-best翻訳を超える代替翻訳がモンテカルロサンプリングを用いてアンサンブル分類性能を向上させる可能性を検討する。

提案手法

• 中間翻訳を潜在確率変数として扱い、翻訳と分類のコンポonentを1つのエンドツーエンドモデルに統合する。
• 下流分類損失をニューラル機械翻訳（NMT）システムに逆誤差伝搬させるために、最小リスクトレーニング（MRT）の変種を用いる。これにより、タスク固有のファインチューニングが可能になる。
• モンテカルロサンプリングを用いて潜在分布から複数の翻訳をサンプリングし、期待損失を近似し、モデルのロバスト性を向上させる。
• 任意の事前学習済みNMTおよび分類器ペアと互換性のあるユニバーサルなファインチューニング方式を設計し、語彙の不一致問題を回避する。
• 翻訳者と分類器の両方に事前学習モデルを活用することで、完全な再トレーニングなしにゼロショットおよびフェイシット学習を支援する。
• 自動評価指標（BLEUなど）ではなく、分類器の性能から導出される勾配信号を用いてNMTシステムを最適化する。

実験結果

リサーチクエスチョン

• RQ1 翻訳と分類を1つの潜在変数モデルに統合することで、標準のパイプライン手法に比べ、クロスリンガル転移性能が向上するか？
• RQ2 下流分類器からのフィードバックを用いてNMTシステムをファインチューニングすることで、特定タスク向けの翻訳品質が向上するか？
• RQ3 1-best翻訳に依存するのではなく、複数サンプリングされた翻訳が分類精度をどの程度向上させるか？
• RQ4 マルチリンガルNLUタスクにおける下流性能の向上と、翻訳品質（BLEUで測定）の相関関係は？
• RQ5 k-best翻訳の内部順位がアンサンブル予測精度への寄与とどの程度相関するか？

主な発見

• 提案手法は、標準の翻訳ベース転移手法に比べ、最大2.7ポイントの平均精度向上を達成。ハイチ・クレオール語のような低リソース言語では最大5.6ポイントの向上を記録。
• 性能向上は特に低リソース設定で顕著であり、強力なゼロショットおよびフェイシット一般化能力を示している。
• 低品質の翻訳（例：ハイチ・クレオール語で12.6 BLEU）は、複数サンプリングにより特に恩恵を受けており、精度向上が約5ポイントに達する。
• k-best翻訳の順位とそのアンサンブル精度への寄与の間に強い相関は認められない。これは、低順位の翻訳が高順位の翻訳の誤りを是正できる可能性を示唆する。
• 翻訳の内部順位（例：対数尤度）は、下流性能を予測できない。低順位の翻訳が高順位の翻訳が失敗する状況で正しく予測を下すことがある。
• 翻訳品質（BLEU）は性能向上の強力な予測要因である。一方、多言語カバレッジとモデル選択（例：MarianMT vs. mBART vs. Google Cloud）は、下流結果に顕著な影響を及ぼす。