[논문 리뷰] Unsupervised Neural Machine Translation with Generative Language Models Only

Jesse Michael Han, I. Babuschkin외 9명|arXiv (Cornell University)|2021. 10. 11.

Natural Language Processing Techniques참고 문헌 20인용 수 10

한 줄 요약

이 논문은 사전 훈련된 언어 모델만을 사용하여 비지도 신경 기계 번역에서 최신 기술 성능을 달성하는 방법을 제시한다. GPT-3의 제로샷 번역 능력을 소수의 예시를 통한 확장, 정규화, 반복적 역번역을 통해 활용한다. 이 방법은 사전 훈련 외에 추가적인 미세조정이나 명시적 지도 학습 없이도 WMT14 영어-프랑스어 벤치마크에서 42.1 BLEU 점수를 달성한다.

ABSTRACT

We show how to derive state-of-the-art unsupervised neural machine translation systems from generatively pre-trained language models. Our method consists of three steps: few-shot amplification, distillation, and backtranslation. We first use the zero-shot translation ability of large pre-trained language models to generate translations for a small set of unlabeled sentences. We then amplify these zero-shot translations by using them as few-shot demonstrations for sampling a larger synthetic dataset. This dataset is distilled by discarding the few-shot demonstrations and then fine-tuning. During backtranslation, we repeatedly generate translations for a set of inputs and then fine-tune a single language model on both directions of the translation task at once, ensuring cycle-consistency by swapping the roles of gold monotext and generated translations when fine-tuning. By using our method to leverage GPT-3's zero-shot translation capability, we achieve a new state-of-the-art in unsupervised translation on the WMT14 English-French benchmark, attaining a BLEU score of 42.1.

연구 동기 및 목표

• 비지도 NMT에서 인코더-디코더 아키텍처와 보조 손실을 완전히 제거하고 생성형 언어 모델링에만 의존함으로써 문제를 해결하는 것.
• 대규모 사전 훈련된 언어 모델이 명시적 정렬 목표나 노이즈 제거 오토인코더 없이도 비지도 번역을 부트스트랩할 수 있음을 입증하는 것.
• 소수의 예시를 통한 프롬프팅으로 생성된 합성 데이터가 제로샷 번역에서 실제 지도 학습을 효과적으로 대체할 수 있음을 보여주는 것.
• 사전 훈련된 언어 모델과 자기지도적 역번역만을 사용하여 비지도 NMT 벤치마크에서 최신 기술 성능을 달성하는 것.
• 반복적 역번역과 결합할 경우 최소한의 지도 학습(예: N=3개의 소수 예시)이 충분히 효과적임을 검증하는 것.

제안 방법

• 소수의 레이블이 없는 문장 쌍에 대해 GPT-3의 제로샷 능력을 활용해 초도 번역을 생성한다.
• 이 제로샷 번역 결과를 소수의 예시로 삼아 더 큰 합성 데이터셋을 샘플링함으로써 이를 확장한다.
• 소수의 예시 프롬프트를 제거하고, 합성 데이터에 대해 제로샷 형식으로 언어 모델을 미세조정하여 번역 작업에 맞추어진다.
• 양방향으로 반복적으로 번역을 생성하고, 실제 데이터와 생성된 단일 언어 데이터 양쪽에 대해 모델을 미세조정함으로써 반복적 역번역을 수행한다.
• 사이클 일관성을 유지하기 위해 미세조정 중 실제 데이터와 생성된 텍스트의 역할을 바꿔가며 적용한다.
• 양방향 번역에 모두 동일한 인코더-디코더 없이 순차적 디코더 전용 트랜스포머를 사용함으로써 특수화된 아키텍처나 보조 손실을 피한다.

실험 결과

연구 질문

• RQ1 단일 생성형 언어 모델이 추가적인 미세조정이나 보조 학습 목표 없이도 최신 기술 성능의 비지도 NMT를 달성할 수 있는가?
• RQ2 대규모 언어 모델에서 소수의 예시를 통한 프롬프팅으로 생성된 합성 데이터가 저자료 설정에서 실제 지도 학습을 능가하는가?
• RQ3 소수의 예시 수가 비지도 NMT의 최종 번역 성능에 미치는 영향은 어느 정도인가?
• RQ4 자체 생성된 데이터를 사용한 역번역이 실제 단일 언어 데이터와 비교해 유사한 성능을 낼 수 있는가?
• RQ5 비지도 NMT 전체 파이프라인을 사전 훈련된 생성 모델과 프롬프트 기반 데이터 생성만으로도 실행할 수 있는가?

주요 결과

• 이 방법은 WMT14 영어-프랑스어 비지도 번역 벤치마크에서 새로운 최고 성능인 42.1 BLEU 점수를 달성한다.
• 부트스트랩 단계에서 실제 소수의 예시(N=3)만을 사용할 경우, 최종 BLEU 점수는 38.0 (en-fr)과 34.2 (fr-en)를 기록하며 더 큰 소수 예시 세트와 유사한 성능을 보인다.
• 반복적 역번역 이후에는 합성 소수 예시를 실제 예시로 교체해도 최종 BLEU 점수에 유의미한 영향을 주지 않는다.
• 3개의 소수 예시만으로도 모델이 안정적인 성능을 유지하며, 제시된 예시 수에 대해 매우 민감하지 않음을 보여준다.
• GPT-3에서 생성된 합성 데이터 또는 실제 소수 예시로 훈련한 최종 모델의 성능이 유사하여, 데이터 확장 파이프라인의 강건성을 입증한다.
• 노이즈 제거 오토인코더, 적대적 손실, 이중어휘 유도를 위한 별도의 처리 없이도 비지도 NMT 파이프라인을 순수 생성 모델링으로 단순화할 수 있다.