[논문 리뷰] Neural Machine Translation Training in a Multi-Domain Scenario

Hassan Sajjad, Nadir Durrani외 3명|arXiv (Cornell University)|2017. 08. 29.

Natural Language Processing Techniques참고 문헌 28인용 수 51

한 줄 요약

이 논문은 다중 도메인 NMT 시스템을 구축하기 위해 데이터 연결, 모델 스태킹, 데이터 선택, 다중 모델 앙상블 등 여러 학습 전략을 평가하고, 도메인 외 데이터의 결합 후 도메인 내 데이터로 미세조정하는 것이 도메인 내 성능을 최적화한다는 것을 발견하며, 스태킹 순서와 앙상블은 견고성 및 학습 효율성에 트레이드오프를 제공한다.

ABSTRACT

In this paper, we explore alternative ways to train a neural machine translation system in a multi-domain scenario. We investigate data concatenation (with fine tuning), model stacking (multi-level fine tuning), data selection and multi-model ensemble. Our findings show that the best translation quality can be achieved by building an initial system on a concatenation of available out-of-domain data and then fine-tuning it on in-domain data. Model stacking works best when training begins with the furthest out-of-domain data and the model is incrementally fine-tuned with the next furthest domain and so on. Data selection did not give the best results, but can be considered as a decent compromise between training time and translation quality. A weighted ensemble of different individual models performed better than data selection. It is beneficial in a scenario when there is no time for fine-tuning an already trained model.

연구 동기 및 목표

• 여러 도메인을 NMT 학습 중에 어떻게 결합할지 이해한다.
• 제한된 도메인 내 데이터로 도메인 내부 번역 품질을 극대화하는 전략을 식별한다.
• 도메인 간 학습 시간, 견고성 및 성능 간의 트레이드오프를 평가한다.
• 연결, 스태킹, 데이터 선택 또는 앙상블 접근 방식 중 언제 사용해야 하는지에 대한 지침을 제공한다.

제안 방법

• TED의 도메인 내 데이터에 대해 아랍어-영어 및 독일어-영어를 실험하고, 도메인 외 데이터로 UN, OPUS, Europarl, Common Crawl를 사용한다.
• 데이터 연결과 도메인 내 데이터에 대한 미세조정을 비교한다.
• 도메인 순서를 따라 순차적으로 도메인 간 미세조정을 수행하고 도메인 내 데이터로 마무리하여 모델 스태킹을 테스트한다.
• 도메인-외 데이터 중 도메인 내와 가장 가까운 데이터를 선택하기 위해 수정된 Moore-Lewis 방법으로 데이터 선택을 평가한다.
• 도메인별 모델의 점수를 평균화(균형 및 가중)하여 다중 도메인 앙상블을 평가한다.
• Nematus를 사용하여 주의(attention)가 있는 2-layer LSTM 인코더-디코더를 학습한다(임베딩 512, 히든 사이즈 1000, BPE 50k).

실험 결과

연구 질문

• RQ1 다중 도메인을 NMT 학습 중에 결합하는 효과적인 방법은 무엇인가?
• RQ2 제한된 도메인 내 데이터가 주어졌을 때 어떤 전략이 도메인 내 번역 품질을 가장 잘 이끌어내는가?
• RQ3 데이터 연결, 모델 스태킹, 데이터 선택, 앙상블은 품질, 학습 시간, 견고성 측면에서 어떻게 비교되는가?
• RQ4 알 수 없는 도메인으로 번역할 때 일반적인 연결보다 도메인 인지적 연결(domain-aware concatenation)이 이점이 있는가?
• RQ5 스태킹에서 서로 다른 도메인 순서가 최종 번역 품질에 어떤 영향을 미치는가?

주요 결과

• 연결된 시스템이 도메인 내 데이터로 미세조정되면 최상의 도메인 내 성능을 달성한다.
• 도메인 외 데이터 중 시작점을 도메인에서 가장 멀리 시작하고 도메인 내 미세조정으로 끝낼 때 모델 스태킹이 가장 잘 작동한다.
• 모든 데이터를 연결한 시스템은 새로운 도메인에 대해 가장 강인한 성능을 제공한다.
• 데이터 선택은 속도-정확도 트레이드오프를 합리적으로 제공하지만, 일반적으로 모든 데이터를 사용하고 미세조정하는 것보다 열등하다.
• 가중 앙상블은 재훈련이 불가능할 때 단일 모델보다 우수할 수 있지만, 단일 연결 모델이 보통 더 우수한 경우가 많다.