[논문 리뷰] Simple, Scalable Adaptation for Neural Machine Translation

Ankur Bapna, Naveen Arivazhagan외 1명|arXiv (Cornell University)|2019. 09. 18.

Natural Language Processing Techniques참고 문헌 37인용 수 13

한 줄 요약

이 논문은 다중 도메인 및 다국어 번역을 위한 효율적이고 파rameter 효율적인 적응을 가능하게 하기 위해 사전 훈련된 NMT 모델에 경량 어댑터 레이어를 삽입하는 방법을 제안한다. 주 모델의 파라미터를 동결한 채로 오직 이 작은 작업별 어댑터들만 미세조정함으로써, 전체 미세조정과 동등한 성능을 달성하면서도 파라미터 오버헤드를 크게 줄이고 하이퍼파ram터 튜닝이 필요 없게 된다.

ABSTRACT

Fine-tuning pre-trained Neural Machine Translation (NMT) models is the dominant approach for adapting to new languages and domains. However, fine-tuning requires adapting and maintaining a separate model for each target task. We propose a simple yet efficient approach for adaptation in NMT. Our proposed approach consists of injecting tiny task specific adapter layers into a pre-trained model. These lightweight adapters, with just a small fraction of the original model size, adapt the model to multiple individual tasks simultaneously. We evaluate our approach on two tasks: (i) Domain Adaptation and (ii) Massively Multilingual NMT. Experiments on domain adaptation demonstrate that our proposed approach is on par with full fine-tuning on various domains, dataset sizes and model capacities. On a massively multilingual dataset of 103 languages, our adaptation approach bridges the gap between individual bilingual models and one massively multilingual model for most language pairs, paving the way towards universal machine translation.

연구 동기 및 목표

• 다양한 도메인과 저자원 언어에 대한 NMT 적응에서 전체 미세조정의 비효율성과 확장성 문제를 해결하기 위해.
• 각 언어나 도메인 별 별도의 모델을 유지할 필요를 줄이기 위해 단일 모델이 동시에 여러 작업에 적응할 수 있도록 하기 위해.
• 파라미터 효율적이며 하이퍼파ram터에 민감하지 않은 방법을 개발하여 적응 과정에서 치명적인 기억 상실을 방지하기 위해.
• 다중 다국어 환경에서 저자원 언어의 번역 품질을 향상시키되, 고자원 언어 쌍의 성능을 떨어뜨리지 않기 위해.
• 작업의 복잡성과 데이터 크기에 따라 어댑터 용량을 조정할 수 있는 영리한 적응을 가능하게 하기 위해.

제안 방법

• 사전 훈련된 Transformer NMT 모델의 레이어 사이에 작은 작업별 어댑터 레이어를 삽입하고 주 모델 파라미터는 동결한다.
• 파라미터 효율성과 용량을 제어하기 위해 버티컬 구조(다운프로젝션, ReLU, 업프로젝션)를 가진 잔차 어댑터 블록을 사용한다.
• 기본 모델은 그대로 유지한 채, 타겟 도메인 또는 언어별 데이터에 대해서만 어댑터 파라미터만 미세조정한다.
• 103개 언어에서 훈련된 단일 글로벌 다국어 모델을 먼저 훈련한 후, 각 언어 쌍에 맞는 어댑터를 삽입하고 미세조정한다.
• 작업의 복잡성과 데이터 크기에 따라 어댑터 버티컬 구조의 차원(b=2048 또는 b=4096)을 조정하며, 고자원 언어에 대해서는 더 큰 어댑터를 사용한다.
• 개별 미세조정 단계를 거친 후 모든 미세조정된 어댑터를 하나의 모델로 통합하여 다중 작업 추론을 지원한다.

실험 결과

연구 질문

• RQ1 오직 작은 작업별 어댑터 레이어만을 사용하여 단일 사전 훈련된 NMT 모델이 여러 도메인과 언어에 효율적으로 적응할 수 있는가?
• RQ2 어댑터 기반 적응이 전체 미세조정과 동등한 성능를 달성하면서도 파라미터 오버헤드와 훈련 복잡도를 줄일 수 있는가?
• RQ3 어댑터는 이중 번역 모델과 단일 다국어 모델 간의 성능 격차를 효과적으로 메울 수 있는가, 특히 저자원 언어 쌍에 대해서는?
• RQ4 어댑터 용량(버티컬 크기)이 다양한 데이터 크기와 언어 자원 수준에서 성능에 어떤 영향을 미치는가?
• RQ5 어댑터를 사용하여 동시에 여러 도메인과 언어에 모델을 적응시킬 수 있으며, 치명적인 기억 상실 없이 수행되는가?

주요 결과

• 어댑터 기반 적응은 다양한 도메인, 데이터셋 크기, 모델 용량에서 전체 미세조정과 동등한 번역 성능를 달성하며, 업데이트되는 파라미터의 일부분만으로도 가능하다.
• 103개 언어의 다국어 NMT 환경에서 어댑터는 다국어 모델과 이중 모델 간의 성능 격차를 크게 줄여주며, 특히 저자원 언어 쌍에서 두드러진다.
• 고자원 언어 쌍에서는 어댑터 크기를 증가시킬수록 성능 향상이 더 두드러지며(예: b=4096), 어댑터 용량 확장의 유연성을 입증한다.
• 각 언어나 도메인 별 별도의 모델 훈련을 피하기 때문에 메모리와 훈련 비용을 줄여주며, 확장 가능한 다중 작업 적응을 가능하게 한다.
• 성능 향상에도 불구하고, 영어로 번역하는 고자원 언어 쌍에서는 이중 기반 모델 대비 약간의 성능 저하가 남아 있어 향후 최적화 여지가 있음을 시사한다.
• 어댑터 미세조정은 학습을 처음부터 시작하는 것보다 빠르게 수렴하며, 일반적으로 데이터 크기에 따라 20,000~50,000 스텝 내외에서 완료된다. 이는 훈련 가능한 파라미터 수가 적기 때문이다.