[논문 리뷰] Building a Multi-domain Neural Machine Translation Model using Knowledge Distillation

Idriss Mghabbar, Pirashanth Ratnamogan|arXiv (Cornell University)|2020. 04. 15.

Natural Language Processing Techniques인용 수 8

한 줄 요약

이 논문은 여러 도메인 전용 교사 모델에서의 전문 지식을 지식 정복 기반 프레임워크를 통해 추출하여, 추론 비용을 증가시키지 않고도 표준 피지테이닝 대비 최대 2 BLEU 포인트 향상된 단일 다중도메인 신경 기계 번역(NMT) 모델을 훈련시키는 방법을 제안한다. 이 방법은 사전 훈련된 일반적인 학생 모델과 동적 데이터 선택을 활용하여 2~4개 도메인 간에 효율적으로 지식을 전이한다.

ABSTRACT

Lack of specialized data makes building a multi-domain neural machine translation tool challenging. Although emerging literature dealing with low resource languages starts to show promising results, most state-of-the-art models used millions of sentences. Today, the majority of multi-domain adaptation techniques are based on complex and sophisticated architectures that are not adapted for real-world applications. So far, no scalable method is performing better than the simple yet effective mixed-finetuning, i.e finetuning a generic model with a mix of all specialized data and generic data. In this paper, we propose a new training pipeline where knowledge distillation and multiple specialized teachers allow us to efficiently finetune a model without adding new costs at inference time. Our experiments demonstrated that our training pipeline allows improving the performance of multi-domain translation over finetuning in configurations with 2, 3, and 4 domains by up to 2 points in BLEU.

연구 동기 및 목표

• 실제 응용에서 여러 개의 단일도메인 NMT 모델을 배포하는 데 발생하는 확장성 및 효율성 문제를 해결한다.
• 앙상블, 재순서 정렬 또는 입력 분류에 의존하는 기존의 다중도메인 적응 기법의 한계를 극복한다. 이러한 기법들은 복잡성과 비용을 증가시킨다.
• 다양한 전문 도메인 모델의 전문 지식을 하나의 통합된 학생 모델에 통합하는 확장성 있고 추론 비용이 낮은 방법을 개발한다.
• 지식 정복이 표준 혼합 피지테이닝보다 우수함을 입증하면서도 일반 모델의 단순성과 빠른 속도를 유지할 수 있음을 보여준다.
• 의료, 법적, 소프트웨어, 종교 텍스트와 같은 다양한 도메인에서 2개, 3개, 4개 도메인으로 일반화하여 일관된 성능 향상을 보여준다.

제안 방법

• 도메인 특화 데이터를 사용하여 최신의 단일도메인 적응 기법을 활용해 여러 전문 교사 모델을 훈련시킨다.
• 지식 정복을 통해 이러한 교사 모델들로부터 단일 사전 훈련된 일반적인 학생 모델로 지식을 전이한다.
• 정복 전에 도메인 특화 성능을 향상시키기 위해 교사 모델의 피지테이닝 동안 동적 데이터 선택을 적용한다.
• 하드 레이블(교사로부터의 출력)과 소프트 레이블(로그릿)을 모두 사용하여 가중치 손실을 통해 학생 모델을 훈련시킨다. 이 손실은 음의 로그우도와 쿨백-라이블러 발산을 조합한다.
• 하이퍼파라미터 λ를 통해 교차 엔트로피 손실과 KL 발산 손실 간의 균형을 조정하여 정복 과정을 최적화한다.
• 추론 효율성을 확보하기 위해 원래의 학생 아키텍처를 그대로 유지하며, 아키텍처 수정이나 파라미터 수 증가 없이 진행한다.

실험 결과

연구 질문

• RQ1 지식 정복 기법이 여러 도메인 전용 교사 모델의 전문 지식을 단일 다중도메인 학생 모델에 효과적으로 통합할 수 있는가?
• RQ2 제안된 정복 프레임워크가 여러 도메인에서 표준 혼합 피지테이닝 대비 BLEU 점수에서 뛰어난 성능을 보일 수 있는가?
• RQ3 레이블 스무oothing는 다중도메인 NMT에서 지식 정복의 성능에 어떤 영향을 미치는가?
• RQ4 다양한 데이터 복잡도를 가진 2개, 3개, 4개 도메인에서 이 정복 접근법이 확장 가능하고 효과적인가?
• RQ5 앙상블 또는 이전의 분류 기법과 비교해 추론 효율성을 유지하면서도 번역 품질을 향상시킬 수 있는가?

주요 결과

• 제안된 지식 정복 방법은 2교사 설정에서는 혼합 피지테이닝 대비 최대 2.0 BLEU 포인트 향상되었으며, 4교사 설정에서는 1.55 BLEU 포인트 향상되었다.
• 하드 레이블 정복(HS) 전략이 소프트 레이블 정복(SS) 전략보다 우수했으며, 각각 2개, 3개, 4개 도메인에서 평균 ΔHS가 2.0, 1.1, 1.55 BLEU였다.
• 일반 모델이 성능이 떨어지는 의료 및 종교 데이터셋에서는 정복 방법이 뚜렷한 향상을 보였으며, 기본 모델 대비 최대 20 BLEU 포인트 향상되었다.
• 앙상블 및 이전의 분류 기법보다 성능이 뛰어나며, 특히 자원이 적거나 도메인 외부의 설정에서 유의미한 성능 향상을 보였다. 또한 추론 비용은 낮게 유지되었다.
• 레이블 스무oothing는 정복 성능에 측정 가능한 부정적 영향을 미쳤으며, 하드 레이블 정복이 소프트 레이블 정복보다 더 좋은 결과를 도출했다.
• 의료(높은 기준점), 의료(큰 향상), 소프트웨어(짧은 문장), 종교(역사적 언어)와 같은 다양한 도메인에서 잘 일반화되었다.