[논문 리뷰] Domain specialization: a post-training domain adaptation for Neural Machine Translation

Christophe Servan, Josep Crego외 1명|arXiv (Cornell University)|2016. 12. 19.

Natural Language Processing Techniques참고 문헌 15인용 수 45

한 줄 요약

이 논문은 사전에 훈련된 일반적인 NMT 모델을 도메인 내 데이터만으로 미세조정하여 후기 훈련 도메인 특화 방법을 제안한다. 이는 매우 짧은 시간 내에 뚜렷한 성능 향상을 이룬다. 이 방법은 단지 5만 라인의 도메인 내 데이터로 전체 재훈련 성능에 가까운 성능을 달성하며, 전체 도메인 내 데이터를 사용할 경우 BLEU와 TER 모두 13점 이상 향상된다. 이는 컴퓨터 지원 번역(CAT) 워크플로우에서 빠르고 점진적인 적응을 가능하게 한다.

ABSTRACT

Domain adaptation is a key feature in Machine Translation. It generally encompasses terminology, domain and style adaptation, especially for human post-editing workflows in Computer Assisted Translation (CAT). With Neural Machine Translation (NMT), we introduce a new notion of domain adaptation that we call "specialization" and which is showing promising results both in the learning speed and in adaptation accuracy. In this paper, we propose to explore this approach under several perspectives.

연구 동기 및 목표

• 후기 수정 번역이 시간이 지남에 따라 점진적으로 확보되는 컴퓨터 지원 번역(CAT) 환경에서의 신속하고 점진적인 도메인 적응이 요구됨을 다루기 위해.
• 새로운 도메인에 적응하기 위해 NMT 모델을 다시 훈련할 때 소요되는 시간과 계산 비용을 줄이기 위해.
• 소량의 도메인 내 데이터로 사전에 훈련된 일반 모델을 미세조정하는 것이 전체 재훈련 성능과 유사한 성능을 달성할 수 있는지 탐색하기 위해.
• 번역 품질(BLEU, TER)과 훈련 효율성 측면에서 점진적 적응의 효과성을 평가하기 위해.

제안 방법

• 이전 훈련 상태를 버리지 않고, 추가적인 도메인 내 데이터만을 사용하여 사전에 훈련된 일반 NMT 모델을 재훈련한다.
• 기존 모델의 은닉 상태와 파라미터를 유지하면서 도메인 내 데이터에 대해 추가 훈련 에포크(1~18)를 통해 점진적인 미세조정을 적용한다.
• 보어 페어 인코딩(BPE)을 사용하여 OOV(Out-of-Vocabulary) 단어를 처리하고 훈련 안정성을 향상시키기 위해 주로 어텐션 기반의 순서-순서 모델을 사용한다.
• 고정된 아키텍처로 훈련: 4층의 양방향 LSTM, 500차원 임bedding, 800개의 LSTM 셀, 드롭아웃(0.3), 초깃값이 1.0인 감소하는 학습률을 사용한다.
• BLEU 및 TER 점수를 사용하여 특화된 모델을 일반 기준 모델 및 전체 재훈련 기준 모델과 비교한다.
• 유럽 의료기구(EMEA) 코퍼스의 점진적인 부분집합(500, 5K, 50K, 전체 922K 라인)으로 훈련하여 데이터 점진적 가용성을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 후기 훈련 도메인 특화가 최소한의 추가 훈련 시간으로 번역 품질을 뚜렷이 향상시킬 수 있는가?

주요 결과

• 도메인 내 데이터 500줄로 일반 NMT 모델을 특화시켰을 때, 기준 모델 대비 BLEU 점수는 0.25점 향상되고 TER 점수는 0.62점 향상되었다.
• 5,000줄의 도메인 내 데이터를 사용할 경우, BLEU 점수는 2.0점, TER 점수는 3.4점 향상되었으며, BLEU 점수 2점 향상을 위해 약 1분의 훈련 시간으로 달성되었다.
• 5만 줄의 도메인 내 데이터를 사용했을 경우, BLEU 점수는 7.7점, TER 점수는 8.6점 향상되어 중간 수준의 데이터로도 뚜렷한 성능 향상을 보였다.
• 전체 도메인 내 데이터(922만 줄)를 사용했을 경우, 일반 모델 대비 BLEU 점수는 13.2점, TER 점수는 13.5점 향상되어 전체 재훈련 성능에 근접했다.
• 5만 줄 데이터를 사용했을 경우, 전반적인 재훈련 성능과 유사하거나 略적으로 뛰어난 성능(0.5 BLEU 및 TER 점수 높음)을 기록했지만, 가장 큰 데이터셋에서는 성능이 떨어졌다.
• 시간 대 성능 비율이 매우 유리했다: BLEU 점수 1점 향상에 1분 미만이 소요되었고, BLEU 점수 6점 향상은 6분 미만에 달성되었다.