[논문 리뷰] Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation

Changtong Zan, Liang Ding외 5명|arXiv (Cornell University)|2023. 09. 28.

Natural Language Processing TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 UNIONS를 제안하며, 음성(비대상) 샘플—즉, 소스 언어 ID와 타겟 언어 ID가 일치하지 않는 경우—에 대해 부확률 튜닝을 적용하여 제로샷 번역 성능을 향상시킨다. 이는 잘못된 번역을 줄이는 데 기여한다. 피니튜닝 중 이러한 일치하지 않는 케이스의 확률을 최소화함으로써 언어 ID 탐색 능력이 향상되어, WMT-5에서 평균적으로 비대상 비율이 48.0% 감소하고, 훈련 비용이 0.3% 증가하는 데서도 BLEU 점수가 +9.1 향상된다.

ABSTRACT

Zero-shot translation (ZST), which is generally based on a multilingual neural machine translation model, aims to translate between unseen language pairs in training data. The common practice to guide the zero-shot language mapping during inference is to deliberately insert the source and target language IDs, e.g., for English and for German. Recent studies have shown that language IDs sometimes fail to navigate the ZST task, making them suffer from the off-target problem (non-target language words exist in the generated translation) and, therefore, difficult to apply the current multilingual translation model to a broad range of zero-shot language scenarios. To understand when and why the navigation capabilities of language IDs are weakened, we compare two extreme decoder input cases in the ZST directions: Off-Target (OFF) and On-Target (ON) cases. By contrastively visualizing the contextual word representations (CWRs) of these cases with teacher forcing, we show that 1) the CWRs of different languages are effectively distributed in separate regions when the sentence and ID are matched (ON setting), and 2) if the sentence and ID are unmatched (OFF setting), the CWRs of different languages are chaotically distributed. Our analyses suggest that although they work well in ideal ON settings, language IDs become fragile and lose their navigation ability when faced with off-target tokens, which commonly exist during inference but are rare in training scenarios. In response, we employ unlikelihood tuning on the negative (OFF) samples to minimize their probability such that the language IDs can discriminate between the on- and off-target tokens during training. Experiments spanning 40 ZST directions show that our method reduces the off-target ratio by -48.0% on average, leading to a +9.1 BLEU improvement with only an extra +0.3% tuning cost.

연구 동기 및 목표

• 제로샷 번역에서 언어 ID가 잘못된 소스-타겟 언어 ID 쌍으로 인해 모델이 정확히 지시되지 않을 때 발생하는 비대상 문제를 해결한다.
• 훈련 중에 온타겟 조건에서는 잘 작동하지만 제로샷 설정에서는 언어 ID가 탐색 능력을 상실하는 이유를 탐구한다.
• 훈련에서는 드물지만 추론 시 흔한 비대상 토큰에 대해 다국어 신경 기계 번역(MNMT) 모델의 강건성을 향상시킨다.
• 구조적 변경이나 대규모 재훈련 없이도 ZST 성능을 향상시키는 경량이고 효과적인 피니튜닝 방법을 개발한다.
• 비대상 샘플에 대한 부확률 튜닝이 제로샷 번역에서 언어 ID의 탐색 능력을 회복시킬 수 있으며, 특히 실제 추론 환경에서 뚜렷한 효과를 보임을 입증한다.

제안 방법

• 모델 행동 분석을 위해 두 가지 극단적 디코더 입력 케이스를 정의한다: 온타겟(소스와 타겟 언어 ID가 일치하는 경우)과 비타겟(일치하지 않는 경우).
• 테이처 포싱을 사용해 온타겟 대비 비타겟 설정에서의 문맥적 단어 표현(CWR)을 대비적으로 시각화함으로써, 비타겟 조건에서 CWR 분포가 혼란스럽다는 것을 확인한다.
• 훈련 중 비타겟 토큰 생성 확률을 최소화하기 위해 부확률 튜닝을 적용하여, 모델이 비타겟 언어의 단어를 생성하는 것을 효과적으로 막는다.
• 소규모 추가 부확률 손실을 사용해 사전 생성된 음성 샘플(일치하지 않는 언어-ID 쌍)에 대해 사전 훈련된 MNMT 모델을 피니튜닝함으로써, 최소한의 계산 오버헤드로도 구현 가능하다.
• 과적합을 방지하기 위해 OTR 감소와 BLEU 향상 간의 균형을 고려해 최적의 체크포인트를 선택할 수 있도록 $σ_{\text{sep}}$ 라는 검증 지표를 도입한다.
• IWSLT, OPUS-100, WMT-5, TED 등 다양한 벤치마크에서 훈련하여 40개의 제로샷 번역 방향에 걸쳐 일반화 능력을 평가한다.

Figure 1: Zero-shot translation ( ZST ) aims to transfer the navigation ability of the target language ID into translation directions that do not exist in the training process.

실험 결과

연구 질문

• RQ1 왜 이상적인 온타겟 훈련 조건에서는 잘 작동하는 언어 ID가 제로샷 추론 환경에서는 효과적으로 모델을 지시하지 못하는가?
• RQ2 제로샷 번역에서 온타겟과 비타겟 설정 간의 문맥적 단어 표현(CWR)은 어떻게 다를까?
• RQ3 비타겟(음성) 샘플에 대한 부확률 튜닝이 다국어 번역 모델에서 언어 ID의 탐색 능력을 복원할 수 있는가?
• RQ4 ZST에서 음성 샘플에 부확률 튜닝을 적용할 경우 성능 향상과 계산 비용 증가 사이의 트레이드오프는 어떠한가?
• RQ5 제안된 방법은 저자원 언어나 비영어 중심이 아닌 언어 쌍을 포함한 다양한 다국어 번역 벤치마크와 번역 방향에 대해 일반화 가능한가?

주요 결과

• UNIONS는 IWSLT, OPUS-100(v1.0), WMT-5, TED 벤치마크에서 40개의 제로샷 번역 방향에 걸쳐 평균 비대상 비율을 48.0% 감소시켰다.
• WMT-5에서 BLEU 점수는 +9.1 향상되었고, 훈련 비용은 0.3%만 증가하여 높은 효율성을 입증했다.
• UNIONS 튜닝 후 비타겟 설정에서도 각 언어의 CWR가 명확하게 분리되어 있으며, 이는 온타겟 및 지도 학습 설정에서 관찰되는 깔끔한 군집화와 유사하다.
• OTR 점수는 원래 MNMT의 19.2에서 UNIONS로 2.5로 감소하여 비대상 생성의 현저한 감소를 확인했다.
• UNIONS의 훈련 비용은 극히 낮다: OPUS-100(v1.0)에서는 원래 MNMT 훈련 비용의 1.8%, WMT-5에서는 0.3%에 불과하다.
• 이 방법은 다양한 데이터셋과 번역 방향에서 효과적이며, 더 큰 규모의 데이터셋에서 더 뚜렷한 성과 향상을 보이며, 산업 응용에 대한 확장 가능성도 입증했다.