[논문 리뷰] Multilingual Domain Adaptation for NMT: Decoupling Language and Domain Information with Adapters

Asa Cooper Stickland, Alexandre Bérard외 1명|arXiv (Cornell University)|2021. 10. 18.

Natural Language Processing Techniques인용 수 10

한 줄 요약

이 논문은 언어와 도메인 정보를 분리하는 어댑터 모듈을 사용하여 다국어 신경 기계 번역(NMT) 도메인 적응을 위한 방법을 제안한다. 이는 새로운 도메인과 언어로의 효율적이고 파rameter 효율적인 적응을 가능하게 하며, 전체 모델을 재학습하지 않고도 기존 모델을 유지하면서도 도메인 외 언어 쌍에서 3–4 BLEU 향상을 달성한다. 특히, 재학습이 불가능한 상황에서의 치명적 기억 상실 문제를 줄이고자 영어 중심의 역번역 기법을 활용한다.

ABSTRACT

Adapter layers are lightweight, learnable units inserted between transformer layers. Recent work explores using such layers for neural machine translation (NMT), to adapt pre-trained models to new domains or language pairs, training only a small set of parameters for each new setting (language pair or domain). In this work we study the compositionality of language and domain adapters in the context of Machine Translation. We aim to study, 1) parameter-efficient adaptation to multiple domains and languages simultaneously (full-resource scenario) and 2) cross-lingual transfer in domains where parallel data is unavailable for certain language pairs (partial-resource scenario). We find that in the partial resource scenario a naive combination of domain-specific and language-specific adapters often results in `catastrophic forgetting' of the missing languages. We study other ways to combine the adapters to alleviate this issue and maximize cross-lingual transfer. With our best adapter combinations, we obtain improvements of 3-4 BLEU on average for source languages that do not have in-domain data. For target languages without in-domain data, we achieve a similar improvement by combining adapters with back-translation. Supplementary material is available at https://tinyurl.com/r66stbxj

연구 동기 및 목표

• 전체 모델을 재학습하지 않고도 새로운 도메인과 언어로 다국어 NMT 모델을 효율적이고 파rameter 효율적으로 적응시킬 수 있도록 하는 것.
• 일부 언어 쌍에 대해 도메인 내 데이터가 없는 부분 자원 설정에서 치명적 기억 상실 문제를 해결하는 것.
• NMT에서 다국어 도메인 전이를 위해 언어 어댑터와 도메인 어댑터를 효과적으로 조합하는 방법을 탐구하는 것.
• 어댑터 배치와 정규화를 최적화하여 도메인 외 언어로의 제로샷 전이 성능을 향상시키는 것.
• 성능, 모ularity, 확장성 측면에서 어댑터 기반 적응과 전통적인 도메인 태그 미세조정 간의 비교를 수행하는 것.

제안 방법

• Transformer 블록 간에 경량 어댑터 레이어를 삽입하여 다국어 NMT 모델의 파rameter 효율적인 미세조정을 가능하게 한다.
• 언어 어댑터(LAs)와 도메인 어댑터(DAs)를 별도로 학습한 후, 다중 도메인 및 다국어 추론에 통합한다.
• 도메인 어댑터 드롭아웃(DADrop)을 사용하여 학습을 정규화하고 특정 도메인에 대한 과적합을 줄이며, 새로운 언어로의 일반화 능력을 향상시킨다.
• 영어 중심의 역번역을 적용하여 단일 언어 도메인 내 데이터를 증강하고, 도메인 외 타겟 언어에서의 성능을 향상시킨다.
• 어댑터 배치를 다양하게 시험해보며, 인코더 전용, 디코더 전용, 또는 전체 레이어에서의 영향을 성능과 기억 상실 측면에서 비교한다.
• 모델을 전자 자원 설정(모든 언어 쌍에 도메인 내 데이터가 존재함)과 부분 자원 설정(일부 언어 쌍만 도메인 내 데이터가 존재함)에서 평가한다.

실험 결과

연구 질문

• RQ1 다국어 NMT에서 언어 어댑터와 도메인 어댑터를 효과적으로 조합하여 다국어 간 도메인 전이를 가능하게 할 수 있는가?
• RQ2 언어 어댑터와 도메인 어댑터를 단순히 조합할 경우, 도메인 외 언어로의 추론 시 치명적 기억 상실이 발생하는가?
• RQ3 어댑터 배치(인코더 전용 대비 디코더 전용 또는 전체 레이어)가 부분 자원 설정에서 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 도메인 어댑터 드롭아웃과 역번역과 같은 정규화 기법이 치명적 기억 상실을 완화하고 새로운 언어로의 제로샷 전이 성능을 향상시킬 수 있는가?
• RQ5 성능, 파rameter 효율성, 모ularity 측면에서 어댑터 기반 적응은 전통적인 도메인 태그 미세조정보다 어떻게 비교되는가?

주요 결과

• 디코더 전용 도메인 어댑터에 도메인 어댑터 드롭아웃과 역번역을 조합하면, 도메인 내 데이터가 없는 도메인 외 소스 언어에서 평균 3–4 BLEU 향상을 달성한다.
• 인코더 전용 도메인 어댑터는 전체 레이어나 디코더 전용 설정보다 치명적 기억 상실을 줄이고 도메인 외 언어에서의 성능을 향상시킨다.
• 언어 어댑터와 도메인 어댑터를 단순히 조합할 경우, 해당 언어에 도메인 내 데이터가 없을 때 잘못된 언어로의 번역이 발생한다.
• 언어 어댑터는 고정하고 각 레이어에 하나의 어댑터만 사용하여 총 630만 개의 조정 가능한 파라미터만을 사용하는 모델이, 7900만 개의 파라미터를 가진 태그 기반 모델보다 성능이 뛰어나며, 모듈러하고 점진적인 도메인 적응을 가능하게 한다.
• 역번역은 도메인 외 타겟 언어에서의 성능을 향상시키지만, 도메인 외 소스 언어에서는 성능을 떨어뜨리는 경향이 있어 데이터 증강 전략에서의 상충 관계를 보인다.
• 어댑터 기반 모델은 새로운 도메인을 추가할 때 전체 모델을 재학습하지 않고도 새로운 어댑터만 학습함으로써 태그 기반 모델보다 더 모듈러하고 확장성이 뛰어나다.