[論文レビュー] Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation

Changtong Zan, Liang Ding+5 more|arXiv (Cornell University)|Sep 28, 2023

Natural Language Processing TechniquesComputer Science被引用数 3

ひとこと要約

この論文は、ゼロショット翻訳における誤った翻訳を低減するために、負例（非対応言語IDペア）に対して不確実性チューニングを適用するUNIONSという手法を提案する。これは、翻訳の際の誤った言語IDの選択を抑制することで、モデルの言語IDナビゲーション能力を向上させる。微調整中にこれらの不一致ケースの確率を最小化することで、UNIONSは言語IDのナビゲーション性能を向上させ、WMT-5で平均して48.0%のオフターゲット比の低減と、0.3%の訓練コスト増加でBLEUスコアを+9.1向上させる。

ABSTRACT

Zero-shot translation (ZST), which is generally based on a multilingual neural machine translation model, aims to translate between unseen language pairs in training data. The common practice to guide the zero-shot language mapping during inference is to deliberately insert the source and target language IDs, e.g., for English and for German. Recent studies have shown that language IDs sometimes fail to navigate the ZST task, making them suffer from the off-target problem (non-target language words exist in the generated translation) and, therefore, difficult to apply the current multilingual translation model to a broad range of zero-shot language scenarios. To understand when and why the navigation capabilities of language IDs are weakened, we compare two extreme decoder input cases in the ZST directions: Off-Target (OFF) and On-Target (ON) cases. By contrastively visualizing the contextual word representations (CWRs) of these cases with teacher forcing, we show that 1) the CWRs of different languages are effectively distributed in separate regions when the sentence and ID are matched (ON setting), and 2) if the sentence and ID are unmatched (OFF setting), the CWRs of different languages are chaotically distributed. Our analyses suggest that although they work well in ideal ON settings, language IDs become fragile and lose their navigation ability when faced with off-target tokens, which commonly exist during inference but are rare in training scenarios. In response, we employ unlikelihood tuning on the negative (OFF) samples to minimize their probability such that the language IDs can discriminate between the on- and off-target tokens during training. Experiments spanning 40 ZST directions show that our method reduces the off-target ratio by -48.0% on average, leading to a +9.1 BLEU improvement with only an extra +0.3% tuning cost.

研究の動機と目的

• 推論時にソース言語IDとターゲット言語IDが不一致する状況で、言語IDがモデルを正しく導くことができないゼロショット翻訳のオフターゲット問題に対処すること。
• トレーニング時の対応状況ではうまく機能するにもかかわらず、ゼロショット設定では言語IDのナビゲーション能力が失われる理由を解明すること。
• トレーニングではまれだが推論時には一般的なオフターゲットトークンに対して、マルチリンガルニューラル機械翻訳（MNMT）モデルの耐性を高めること。
• アーキテクチャの変更や大規模な再トレーニングを必要とせず、効果的で軽量な微調整手法を開発すること。
• 非対応例に対する不確実性チューニングが、特に現実の推論環境下で、ゼロショット翻訳における言語IDのナビゲーション能力を回復させられることを示すこと。

提案手法

• モデルの挙動を分析するために、対応（オンターゲット）と非対応（オフターゲット）の2つの極端なデコーダー入力ケースを定義する。
• 教師強制を用いて、オンターゲットとオフターゲットの状況下での文脈的語彙表現（CWR）を対比的に可視化し、オフターゲット条件下でCWRの分布が混沌としていることを明らかにする。
• 訓練中に非対応トークンの生成確率を最小化するため、不確実性チューニングを適用し、モデルが非ターゲット言語の単語を生成するのを効果的に抑制する。
• 合成された非対応言語IDペア（不一致ペア）を用いて、少量の追加不確実性損失を適用することで、任意の事前学習済みMNMTモデルを微調整する。計算コストは最小限に抑えられる。
• 最適なチェックポイントを選択するための検証指標 $σ_{\text{sep}}$ を導入し、オフターゲット比の低減とBLEUスコアの向上のバランスを保ち、不確実性損失への過剰適合を回避する。
• IWSLT、OPUS-100、WMT-5、TEDの複数のベンチマークで訓練を行い、40のゼロショット翻訳方向における汎化性能を評価する。

Figure 1: Zero-shot translation ( ZST ) aims to transfer the navigation ability of the target language ID into translation directions that do not exist in the training process.

実験結果

リサーチクエスチョン

• RQ1 対応状況の理想的なトレーニング環境では機能するにもかかわらず、推論時にゼロショット翻訳モデルが言語IDによって正しく導かれないのはなぜか？
• RQ2 ゼロショット翻訳におけるオンターゲットとオフターゲット設定下で、文脈的語彙表現（CWR）はどのように異なるか？
• RQ3 非対応（負例）のサンプルに対する不確実性チューニングによって、マルチリンガル翻訳モデルにおける言語IDのナビゲーション能力を回復させられるか？
• RQ4 ゼロショット翻訳における非対応サンプルに不確実性チューニングを適用する際の、性能向上と計算コストのトレードオフは何か？
• RQ5 提案手法は、低リソース言語や非英語中心の言語ペアを含む、多様なマルチリンガル翻訳ベンチマークおよび言語ペアに一般化可能か？

主な発見

• UNIONSは、IWSLT、OPUS-100（v1.0）、WMT-5、TEDベンチマークの40のゼロショット翻訳方向において、平均して48.0%のオフターゲット比の低減を達成した。
• WMT-5では、訓練コストが0.3%増加するのみでBLEUスコアが+9.1向上し、高い効率性を示した。
• UNIONSチューニング後、オフターゲット設定下でも、異なる言語のCWRが明確に分離され、オンターゲットおよび教師あり設定下でのクリアなクラスタリングと一致する。
• オフターゲット比（OTR）は、通常のMNMTの19.2からUNIONSでは2.5に低下し、非対応生成の顕著な低減が確認された。
• UNIONSの訓練コストはほとんど無視できる：OPUS-100（v1.0）では元のMNMT訓練コストの1.8%、WMT-5では0.3%にとどまる。
• 本手法は多様なデータセットや翻訳方向にわたり有効であり、特に大規模データセットでより顕著な向上が得られ、産業応用へのスケーラビリティが示された。