[논문 리뷰] Modelling Latent Translations for Cross-Lingual Transfer

Edoardo Maria Ponti, Julia Kreutzer외 2명|arXiv (Cornell University)|2021. 07. 23.

Topic Modeling참고 문헌 52인용 수 10

한 줄 요약

이 논문은 신경 기계 번역을 잠재 변수로 간주하여 교차 언어 전이를 향상시키기 위해 통합된 잠재 번역 모델을 제안한다. 이 모델은 최소 위험 훈련과 다중 번역의 몬테카를로 샘플링을 통해 엔드 투 엔드 미세조정을 가능하게 하며, 표준 번역 기반 방법 대비 최대 2.7 accuracy 포인트 향상을 달성한다. 특히 하이티 크리올어와 같은 저자원 언어에서 유의미한 성능 향상을 보인다.

ABSTRACT

While achieving state-of-the-art results in multiple tasks and languages, translation-based cross-lingual transfer is often overlooked in favour of massively multilingual pre-trained encoders. Arguably, this is due to its main limitations: 1) translation errors percolating to the classification phase and 2) the insufficient expressiveness of the maximum-likelihood translation. To remedy this, we propose a new technique that integrates both steps of the traditional pipeline (translation and classification) into a single model, by treating the intermediate translations as a latent random variable. As a result, 1) the neural machine translation system can be fine-tuned with a variant of Minimum Risk Training where the reward is the accuracy of the downstream task classifier. Moreover, 2) multiple samples can be drawn to approximate the expected loss across all possible translations during inference. We evaluate our novel latent translation-based model on a series of multilingual NLU tasks, including commonsense reasoning, paraphrase identification, and natural language inference. We report gains for both zero-shot and few-shot learning setups, up to 2.7 accuracy points on average, which are even more prominent for low-resource languages (e.g., Haitian Creole). Finally, we carry out in-depth analyses comparing different underlying NMT models and assessing the impact of alternative translations on the downstream performance.

연구 동기 및 목표

• 기존 번역 기반 교차 언어 전이의 한계를 해결하기 위해 번역 오류가 누적되고 유일하게 최고 가능성 번역만 사용되는 문제를 해결한다.
• 하류 분류기로부터의 피드백이 부족하여 특정 NLU 작업을 위한 번역 품질 향상이 어려운 문제를 해결한다.
• 사전 훈련된 모델로 번역기와 분류기를 초기화하여 샘플 효율적인 제로샷 및 패스트 샷 전이를 가능하게 한다.
• 다국어 NLU 벤치마크에서 번역 품질과 모델 선택이 하류 성능에 미치는 영향을 조사한다.
• 1-best 번역을 초월하는 대안적 번역이 몬테카를로 샘플링을 통해 앙상블 분류 성능 향상에 기여할 수 있는지 탐구한다.

제안 방법

• 중간 번역을 잠재 랜덤 변수로 간주하여 번역 및 분류 구성 요소를 하나의 엔드 투 엔드 모델로 통합한다.
• 하류 분류 손실을 신경 기계 번역(NMT) 시스템으로 역전파하기 위해 최소 위험 훈련(MRT)의 변종을 사용하여 작업에 특화된 미세조정을 가능하게 한다.
• 몬테카를로 샘플링을 통해 잠재 분포에서 다수의 번역을 샘플링하여 기대 손실을 근사하고 정확도를 향상시킨다.
• 모든 사전 훈련된 NMT 및 분류기 쌍과 호환되는 통합된 미세조정 기법을 설계하여 어휘 불일치 문제를 방지한다.
• 번역기와 분류기 양쪽에 사전 훈련된 모델을 활용하여 전체 재학습 없이 제로샷 및 패스트 샷 학습을 지원한다.
• 자동 평가 지표(예: BLEU)가 아닌 분류기 성능에서 유도된 기울기 신호를 사용하여 NMT 시스템을 최적화한다.

실험 결과

연구 질문

• RQ1 번역과 분류를 하나의 잠재 변수 모델로 통합할 경우, 표준 파이프라인 방법에 비해 교차 언어 전이 성능이 향상되는가?
• RQ2 하류 분류기의 피드백을 통해 NMT 시스템을 미세조정하면 특정 작업을 위한 번역 품질이 향상되는가?
• RQ3 1-best 번역에 의존하는 것과 비교해 복수의 샘플링된 번역이 분류 정확도 향상에 얼마나 기여하는가?
• RQ4 다국어 NLU 작업에서 번역 품질(BLEU로 측정)과 하류 성능 향상 간의 상관관계는 어떠한가?
• RQ5 k-best 번역의 내부 순위가 앙상블 예측 정확도 기여도와 강한 상관관계를 가지는가?

주요 결과

• 제안된 방법은 표준 번역 기반 전이 대비 최대 2.7 포인트의 평균 정확도 향상을 달성하며, 하이티 크리올어와 같은 저자원 언어에서는 최대 5.6 포인트의 성능 향상을 보였다.
• 성능 향상은 저자원 환경에서 가장 두드러지며, 강력한 제로샷 및 패스트 샷 일반화 능력을 입증한다.
• 낮은 품질의 번역(예: 하이티 크리올어의 경우 12.6 BLEU)은 복수의 샘플링으로부터 더 큰 이점을 얻었으며, 정확도에서 약 5 포인트의 향상을 보였다.
• k-best 번역 순위와 앙상블 정확도 기여도 간에 강한 상관관계가 없었으며, 이는 순위가 낮은 번역이 높은 순위의 번역에서 발생한 오류를 수정할 수 있음을 시사한다.
• 번역의 내부 순위(예: 로그 확률)는 하류 성능 예측에 도움이 되지 않으며, 낮은 순위의 번역이 높은 순위의 번역이 실패할 때 정확한 예측을 내릴 수 있음을 보여준다.
• 번역 품질(BLEU)은 성능 향상의 강력한 예측 지표이며, 다국어 커버리지와 모델 선택(MarianMT vs. mBART vs. Google Cloud)이 하류 결과에 상당한 영향을 미친다.