[논문 리뷰] The unreasonable effectiveness of few-shot learning for machine translation

Xavier García, Yamini Bansal외 6명|arXiv (Cornell University)|2023. 02. 02.

Natural Language Processing Techniques인용 수 24

한 줄 요약

셀프-감독 데이터로 학습된 8B 디코더-전용 모델이 고자원 언어 쌍에서 오직 five 개의 인-컨텍스트 시연만으로도 전문 감독 baselines를 맞먹거나 능가하고, 제어 가능한 출력을 갖춘 저자원 설정으로 확장한다.

ABSTRACT

We demonstrate the potential of few-shot translation systems, trained with unpaired language data, for both high and low-resource language pairs. We show that with only 5 examples of high-quality translation data shown at inference, a transformer decoder-only model trained solely with self-supervised learning, is able to match specialized supervised state-of-the-art models as well as more general commercial translation systems. In particular, we outperform the best performing system on the WMT'21 English - Chinese news translation task by only using five examples of English - Chinese parallel data at inference. Moreover, our approach in building these models does not necessitate joint multilingual training or back-translation, is conceptually simple and shows the potential to extend to the multilingual setting. Furthermore, the resulting models are two orders of magnitude smaller than state-of-the-art language models. We then analyze the factors which impact the performance of few-shot translation systems, and highlight that the quality of the few-shot demonstrations heavily determines the quality of the translations generated by our models. Finally, we show that the few-shot paradigm also provides a way to control certain attributes of the translation -- we show that we are able to control for regional varieties and formality using only a five examples at inference, paving the way towards controllable machine translation systems.

연구 동기 및 목표

• 다수의 병렬 코퍼스나 역번역 없이 번역 모델을 구축하기 위한 few-shot 학습의 활용 동기를 제시한다.
• 8B 디코더-전용 모델이 상용 기본선과 성능 차이를 보이고 영어-독일어 및 영어-중국어 번역에서 WMT-스타일 기본선에 근접하도록 한다.
• 이 접근법이 저자원 언어(아이슬란드어)로 확장되고 시연 선택을 통한 제어 가능한 출력을 가능하게 하는지 보여준다(지역적 다양성과 형식성).
• few-shot 번역 성능에 영향을 주는 요인을 분석하고, 시연 품질과 스타일 제어 효과를 강조한다.

제안 방법

• 32-layer 디코더-전용 트랜스포머를 사용하고, 16 헤드, 숨김 크기 4096, 다중 쿼리 어텐션을 적용한다.
• 데코더-전용 모델용 UL2 목표를 변형하여 두 개의 span-손상 인스턴스, 프리픽스 언어 모델링, 인과 언어 모델링 목표를 결합하여 학습한다.
• 추론 시 개발 세트에서 다섯 개의 시연을 샘플링하고 MBR 디코딩과 학습된 BLEURT 기반 유틸리티를 사용하는 템플릿 프롬프트로 few-shot 번역을 수행한다.
• 주로 BLEURT-20으로 평가하고, 보완으로 BLEU를 부록에 보고하며, WMT baselines, Google 번역, PaLM, 다국어/이중 언어 모델과 비교한다.
• 고정된 언어별 데이터 제약 하에서 다국어 확장(이중 대 다중 언어)과 저자원 언어의 학습 데이터 규모와 에폭 수가 미치는 영향을 탐구한다(아이슬란드어).

실험 결과

연구 질문

• RQ1 Self-supervised 데이터로 학습된 8B 디코더-전용 모델이 백트래킹이나 대규모 병렬 코퍼라 없이 few-shot 설정에서 경쟁력 있는 번역 품질을 달성할 수 있는가?
• RQ2 데모의 품질과 스타일이 few-shot 번역의 품질과 제어 가능성에 어떤 영향을 미치는가?
• RQ3 few-shot 접근법이 저자원 언어로 확장될 수 있으며 지역 다양성과 형식성에서의 제어를 지원할 수 있는가?
• RQ4 이 설정에서 MBR 디코딩과 빔 서치의 차이는 무엇이며 서비스 비용의 트레이드오프는 무엇인가?
• RQ5 다국어 또는 제약 조건 내 다국어 학습이 few-shot 번역에서 언어별 성능에 어떤 영향을 미치는가?

주요 결과

• 8B 디코더-전용 few-shot 모델은 다섯 개의 인-컨텍스트 시연을 사용할 때 영어-독일어 및 영어-중국어 방향에서 상용 번역 기본선보다 우수하거나 일부 WMT’21 기본선에 근접할 수 있다.
• 저자원 아이슬란드어 번역에서 이 접근법은 WMT 기본선과 경쟁적이며, 적어도 한 방향에서 일부 상용 기본선을 능가할 수 있다, 비록 데이터가 훨씬 적다.
• 시연의 품질이 번역 품질을 강하게 예측한다; 고품질 시연은 BLEURT 점수를 높이고, 지역 다양성이나 형식성에 맞지 않는 시연은 성능을 저하시킨다.
• 시연 스타일은 제어 가능한 출력을 가능하게 한다; 목표 지역 다양성이나 형식성 수준을 반영하는 시연을 사용할 때 FRMT-점수와 형식성 정확도가 증가하여 미세조정 없이도 제어 가능한 MT 가능성을 보인다.
• MBR 디코딩은 평가된 설정 전반에서 빔 서치보다 BLEURT 점수를 일관되게 높이지만 계산 비용이 더 많이 든다.