[논문 리뷰] Neural Machine Translation Models Can Learn to be Few-shot Learners

Raphael Reinauer, Patrick Simianer외 3명|arXiv (Cornell University)|2023. 09. 15.

Natural Language Processing TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 소수의 예시 번역을 사용하여 새로운 도메인에 적응할 수 있도록 신경망 기반 기계 번역(NMT) 모델을 피지컬 편집(fine-tuning)하여 도메인 적응을 위한 인코어드 컨텍스트 학습(ICL)을 수행하도록 제안한다. 특수 목적의 목적함수를 사용함으로써, 모델은 단일 도메인을 학습하는 것 외에도 소수의 예시 번역을 활용하여 적응할 수 있다. 이 방법은 기존의 피지컬 편집 및 400억 파라미터 LLM(Falcon-40B)을 능가하는 번역 품질과 즉각적인 적응 속도를 달성하면서도, 경량 어댑터를 사용한 효율적인 배치 추론을 가능하게 한다.

ABSTRACT

The emergent ability of Large Language Models to use a small number of examples to learn to perform in novel domains and tasks, also called in-context learning (ICL). In this work, we show that a much smaller model can be trained to perform ICL by fine-tuning towards a specialized training objective, exemplified on the task of domain adaptation for neural machine translation. With this capacity for ICL, the model can take advantage of relevant few-shot examples to adapt its output towards the domain. We compare the quality of this domain adaptation to traditional supervised techniques and ICL with a 40B-parameter Large Language Model. Our approach allows efficient batch inference on a mix of domains and outperforms state-of-the-art baselines in terms of both translation quality and immediate adaptation rate, i.e. the ability to reproduce a specific term after being shown a single example.

연구 동기 및 목표

• 기본 NMT 모델이 기본적으로 이 기능을 갖추고 있지 않음에도 불구하고, 도메인 적응을 위한 인코어드 컨텍스트 학습(ICL)을 수행할 수 있도록 훈련시킬 수 있는지 조사하는 것.
• 추론 중에 소수의 예시 번역을 활용하여 도메인 특화된 적응을 할 수 있도록 NMT 모델의 능력을 향상시키는 훈련 체계를 개발하는 것.
• ICL 기능이 있는 NMT 모델의 성능을 기존의 피지컬 편집 및 Falcon-40B와 같은 대규모 언어 모델(LLM)과 비교하여 소수 번역 작업에서 평가하는 것.
• 최소한의 계산 비용으로 다중 도메인 적응을 위해 ICL과 경량 어댑터 편집을 조합하는 효과를 평가하는 것.

제안 방법

• 기본 NMT 모델을 소수의 예시 번역을 추론 중에 주의하고 활용하도록 훈련시키는 전용 목적함수로 훈련하여, 단일 도메인을 학습하는 것 외에도 기능을 확장한다.
• 추론 중에 프롬프트에 포함할 수 있도록 소스 도메인의 훈련 데이터에서 관련 있는 인근 예제를 검색하여 프롬프트에 포함시킨다.
• 전체 편집 없이도 도메인 특화된 적응을 효율적으로 가능하게 하기 위해 NMT 모델에 경량 어댑터 레이어를 통합한다.
• ICL 기능이 있는 NMT 모델에 도메인 특화 편집(단계 3)을 결합하여 미리 보지 못한 도메인에서의 성능을 향상시킨다.
• LLM 프롬프팅과 유사하게, k-샷 예시(e.g., 영어: [원본] 독일어: [대상])를 포함한 프롬프트 템플릿을 사용하여 추론 중에 모델을 안내한다.
• 모델을 맥락 예시에 조건부로 정확한 번역을 생성하도록 훈련시키며, 일관된 용어 사용을 위해 BLEU 점수와 단어 치환 정확도(WSA)를 최적화한다.

실험 결과

연구 질문

• RQ1 기본 NMT 모델은 아키텍처 변경 없이도 도메인 적응을 위한 인코어드 컨텍스트 학습(ICL)을 수행할 수 있는가?
• RQ2 ICL 최적화된 NMT 모델의 성능은 소수 번역 작업에서 기존의 도메인 편집 및 400억 파라미터 LLM(Falcon-40B)과 비교해 어떻게 되는가?
• RQ3 ICL 훈련과 경량 어댑터 편집을 조합했을 때의 영향은 다중 도메인 적응 성능에 어떤가?
• RQ4 ICL 기능이 있는 NMT 모델은 단어 치환 세그먼트에서 편집된 모델과 비교해 번역 일관성(예: 용어 일치)을 얼마나 잘 유지하는가?

주요 결과

• ICL 최적화된 NMT 모델은 베이스라인 NMT 모델과 기존의 피지컬 편집보다 BLEU 점수에서 뛰어난 성능을 보였으며, ACED 데이터셋에서 1-샷 설정에서 2.5 BLEU 포인트의 향상을 기록하여 2위 모델을 앞서갔다.
• MDNS 데이터셋에서 단계 3 모델(ICL + 어댑터 편집)은 0-샷 설정에서 2위 모델보다 3.8 BLEU 포인트 향상되었으며, 코란 서브셋에서는 101%의 상대적 향상을 기록했다.
• 단계 3 모델은 단어 치환 세그먼트에서 74.6%의 단어 치환 정확도(WSA)를 달성하여, 편집된 모델(57.14%)과 비편집 모델(1.7%)을 크게 앞서갔다.
• 모든 k-샷 설정에서 빈 번역 비율이 0.0%로 떨어져 소수 번역 추론에서 뛰어난 강건성을 보였다.
• Falcon-40B LLM은 k가 높을 경우 ACED 및 MDNS 데이터셋에서 강력한 ICL 성능를 보였지만, 추론 속도가 느렸다(초당 2.6토큰), 절대 BLEU 점수에서는 최적화된 NMT 모델에 뒤져 있었다.
• 임의의 작업에 특화된 훈련 없이 NMT 모델에서 ICL 행동은 열악한 성능을 보였으며, 신뢰할 수 있는 소수 번역 적응을 위해 명시적인 훈련이 필요하다는 것을 시사한다.