[논문 리뷰] Multi-Domain Adaptation in Neural Machine Translation Through Multidimensional Tagging

Emmanouil Stergiadis, Satendra Kumar외 2명|arXiv (Cornell University)|2021. 02. 19.

Natural Language Processing Techniques참고 문헌 32인용 수 7

한 줄 요약

이 논문은 다중 도메인 번역(MDT)을 제안하며, 훈련 및 추론 중 문장 수준의 다차원 태그를 삽입하여 하나의 신경 기계 번역(NMT) 모델을 동시에 여러 하위 도메인—예를 들어 리뷰, 메시징, 부동산 설명 등—에서 미세조정하는 새로운 방법이다. MDT는 별도의 도메인 특화 모델과 비슷하거나 더 뛰어난 성능을 달성하며, 개발 및 유지보수 비용을 N 배 감소시키면서도 다양한 언어 스타일에서 높은 유창성과 적합성을 유지한다.

ABSTRACT

While NMT has achieved remarkable results in the last 5 years, production systems come with strict quality requirements in arbitrarily niche domains that are not always adequately covered by readily available parallel corpora. This is typically addressed by training domain specific models, using fine-tuning methods and some variation of back-translation on top of in-domain monolingual corpora. However, industrial practitioners can rarely afford to focus on a single domain. A far more typical scenario includes a set of closely related, yet succinctly different sub-domains. At Booking.com, we need to translate property descriptions, user reviews, as well as messages, (for example those sent between a customer and an agent or property manager). An editor might need to translate articles across a set of different topics. An e-commerce platform would typically need to translate both the description of each item and the user generated content related to them. To this end, we propose MDT: a novel method to simultaneously fine-tune on several sub-domains by passing multidimensional sentence-level information to the model during training and inference. We show that MDT achieves results competitive to N specialist models each fine-tuned on a single constituent domain, while effectively serving all N sub-domains, therefore cutting development and maintenance costs by the same factor. Besides BLEU (industry standard automatic evaluation metric known to only weakly correlate with human judgement) we also report rigorous human evaluation results for all models and sub-domains as well as specific examples that better contextualise the performance of each model in terms of adequacy and fluency. To facilitate further research, we plan to make the code available upon acceptance.

연구 동기 및 목표

• 산업 환경에서 서로 밀접하게 관련된 여러 하위 도메인에 걸쳐 저자원 도메인 특화 번역 시스템을 구축하는 데 도전하는 것.
• 각 도메인에 대해 별도의 모델을 유지보수하는 높은 비용과 복잡성을 줄이기 위해 하나의 모델이 여러 하위 도메인을 동시에 처리할 수 있도록 하는 것.
• 병렬 단일 언어 데이터가 부족한 특화 도메인에서 태그 기반 역번역과 도메인 인식 미세조정을 활용해 번역 품질을 향상시키는 것.
• BLEU를 넘어서는 평가를 통해 다양한 도메인에서의 유창성과 적합성에 대한 철저한 인간 평가를 수행하는 것.
• 실제 전자상거래 및 여행 플랫폼에서의 多국어, 다중 도메인 번역을 위한 확장 가능하고 생산 환경에 적합한 솔루션을 제공하는 것.

제안 방법

• 일반 병렬 데이터로 사전 훈련된 기본 NMT 모델과 역방향 타겟-소스 모델을 사용하여 역번역을 수행한다.
• 도메인 내 단일 언어 데이터는 역모델을 사용해 합성 병렬 데이터로 역번역된다.
• 합성 데이터는 실제 도메인 병렬 데이터와 결합되어 미세조정용 데이터셋을 구성하며, 데이터 수를 증가시킨다.
• 각 문장은 두 가지 특수 토큰으로 태그된다: $<$ SYNTHETIC={0,1} $>$ 와 $<$ DOMAIN={reviews,messaging,descriptions} $>$ 로서, 데이터의 기원과 도메인을 나타낸다.
• 기본 모델은 혼합된, 태그가 부여된 데이터셋으로 미세조정되어 훈련 중에 도메인 특화 특징을 학습할 수 있도록 한다.
• 추론 시에는 테스트 시간에 도메인 태그를 제공하여 모델의 출력을 대상 하위 도메인에 맞게 조절한다.

실험 결과

연구 질문

• RQ1 각 도메인 별 별도의 미세조정 없이도 단일 NMT 모델이 여러 상이한 하위 도메인에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 도메인과 합성 데이터 플래그를 포함한 다차원 태깅이 단일 도메인 미세조정 대비 번역 품질에 어떤 영향을 미치는가?
• RQ3 다양한 언어 스타일에서 MDT가 전문가 모델을 능가하거나 동등하게 성능을 내는 정도는 어느 정도인가?
• RQ4 도메인과 데이터 유형 태그가 부여된 합성 및 실제 도메인 내 데이터의 포함 여부가 모델 일반화 능력에 어떤 영향을 미치는가?
• RQ5 N 개의 하위 도메인을 하나의 모델로 처리할 때와 N 개의 별도 모델로 처리할 때 모델 복잡성, 훈련 비용, 성능 간의 상충 관계는 어떠한가?

주요 결과

• MDT는 모든 하위 도메인—리뷰, 메시징, 설명—에서 단일 도메인 미세조정 모델과 비슷하거나 뛰어난 BLEU 점수를 달성한다.
• 인간 평가 결과 MDT는 높은 유창성과 적합성을 유지하며, 전문가 모델보다 더 자연스럽고 맥락에 더 부합하는 번역을 제공하는 경우가 많다.
• 메시징 도메인에서는 MDT가 상위 10개 베이스라인 모델을 초월하여 더 정확하고 문법적으로 올바른 번역을 생성한다.
• 개발 및 유지보수 비용이 N 배 감소하였으며, N 개의 하위 도메인을 모두 하나의 모델이 처리함으로써 N 개의 별도 모델이 필요로 하는 것을 방지한다.
• 훈련 및 추론 시간은 기준 모델과 유사하며, 단일 GPU에서의 미세조정이 단지 16시간으로 이루어져 추가적인 계산 부담이 없다는 것을 보여준다.
• 구체적인 예시에서는 MDT가 더 자연스러운 어휘 선택(예: 'we would like to bring our Dalmatian dog Elli' 대비 'Elli our Dalmatian bitch')과 도메인 특화 표현에 더 잘 대응하는 것으로 나타났다.