[논문 리뷰] Guided Alignment Training for Topic-Aware Neural Machine Translation

Wenhu Chen, Evgeny Matusov외 2명|arXiv (Cornell University)|2016. 07. 06.

Natural Language Processing Techniques인용 수 28

한 줄 요약

이 논문은 신경 기계 번역(NMT)의 성능을 햖थन하기 위해 IBM Model 4 Viterbi 정렬을 활용하여 주의 메커니즘을 개선하고, 주제 메타데이터를 통합하여 디코딩을 향상시키는 가이드된 정렬 훈련을 제안한다. 이 방법은 전자상거래 제품 제목에서 BLEU 점수를 18.6%에서 21.3%로 2.7점 향상시키며, IWSLT 음성 번역에서 문맥 기반 기계 번역(SMT) 기반 시스템보다 2.1 BLEU 포인트 높은 최고 성능을 기록한다.

ABSTRACT

In this paper, we propose an effective way for biasing the attention mechanism of a sequence-to-sequence neural machine translation (NMT) model towards the well-studied statistical word alignment models. We show that our novel guided alignment training approach improves translation quality on real-life e-commerce texts consisting of product titles and descriptions, overcoming the problems posed by many unknown words and a large type/token ratio. We also show that meta-data associated with input texts such as topic or category information can significantly improve translation quality when used as an additional signal to the decoder part of the network. With both novel features, the BLEU score of the NMT system on a product title set improves from 18.6 to 21.3%. Even larger MT quality gains are obtained through domain adaptation of a general domain NMT system to e-commerce data. The developed NMT system also performs well on the IWSLT speech translation task, where an ensemble of four variant systems outperforms the phrase-based baseline by 2.1% BLEU absolute.

연구 동기 및 목표

• 전자상거래 제품 제목과 같이 OOV 비율이 높고 자원이 적은 도메인 특화 텍스트에서 NMT의 주의 메커니즘 신뢰도를 향상시키기 위해.
• 통계적 단어 정렬 지식(IBM Model 4 Viterbi 정렬)을 NMT 훈련에 통합하여 주의 학습을 유도하기 위해.
• 주제 또는 카테고리 메타데이터를 외부 신호로 활용하여 자원이 적은 도메인에서 번역 품질을 향상시키는 방법을 탐색하기 위해.
• 일반 도메인 NMT 모델을 전자상거래 데이터에 대해 미세조정함으로써 도메인 적응의 효과를 평가하기 위해.
• 가이드된 정렬, 주제 신호, 도메인 적응을 조합한 하이브리드 접근 방식이 문맥 기반 SMT 시스템과의 격차를 줄일 수 있음을 보여주기 위해.

제안 방법

• NMT 훈련 중 주의 분포가 IBM Model 4 Viterbi 정렬에서 벗어나지 않도록 하는 가이드된 정렬 손실을 도입한다.
• 정렬 손실에 대해 감소하는 가중치 스케줄을 사용하여, 초기에는 높은 가중치로 시작하여 에포크가 진행되면서 점차 감소시켜 정렬 신호에 대한 과적합을 방지한다.
• 주제 정보(예: 제품 카테고리)를 벡터로 표현하고, 이를 디코더의 은닉 상태와 연결하여 번역 생성을 조건화한다.
• NMT 예측을 사용하여 정렬 감독을 반복적으로 개선하는 부트스트랩핑 기법을 적용하여 훈련 과정에서 정렬 품질을 향상시킨다.
• 전자상거래 병렬 데이터에 대해 사전에 훈련된 WMT15 NMT 모델을 미세조정하여 도메인 적응을 수행한다.
• 다양한 변종 모델(예: 주제 정보 유무, 가이드된 정렬 유무)을 조합하여 앙상블 시스템을 구성함으로써 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 IBM Model 4의 Viterbi 정렬이 전자상거래 번역에서 NMT의 주의 학습을 향상시킬 수 있는가?
• RQ2 외부 신호로서 주제 메타데이터를 통합하면 자원이 적고 도메인이 특화된 환경에서 번역 품질이 향상되는가?
• RQ3 미세조정을 통한 도메인 적응이 전자상거래 데이터에서 NMT 성능을 얼마나 향상시킬 수 있는가?
• RQ4 다양한 번역 작업에서 가이드된 정렬과 주제 모델링의 효과성은 어떻게 비교되는가?
• RQ5 가이드된 정렬, 주제 신호, 도메인 적응을 조합한 앙상블 방법이 문맥 기반 SMT 기반 시스템을 능가할 수 있는가?

주요 결과

• 가이드된 정렬 훈련으로 전자상거래 제품 제목에서 BLEU 점수가 18.6%에서 21.3%로 2.7점의 절대 향상이 이루어졌다.
• 주제 정보를 추가로 통합한 앙상블 모델(4개 최고 성능 모델 조합)에서는 BLEU 점수가 24.5%로 상승했다.
• WMT15 기반 NMT 모델을 전자상거래 데이터에 대해 미세조정함으로써 BLEU 점수는 3.0점 이상 절대 향상되었다.
• 4개의 도메인 적응 모델로 구성된 앙상블 시스템은 BLEU 점수 25.6%를 기록했으며, 문맥 기반 SMT 기반 시스템(26.2%)과 0.6점 밖에 떨어지지 않았다.
• IWSLT 음성 번역 작업에서는 앙상블 시스템이 27.8% BLEU를 기록하여, OSM 기능을 사용한 문맥 기반 기반 시스템을 2.1 BLEU 포인트 뛰어넘었다.
• 문장 수준 분석 결과, NMT는 910개 제목 중 386개에서 SMT를 능가했으며, 특히 명사구 순서 정렬과 어휘 유창성에서 뛰어난 성능을 보였다.