[논문 리뷰] Toward a full-scale neural machine translation in production: the Booking.com use case

Pavel Levin, Nishikant Dhanuka외 3명|arXiv (Cornell University)|2017. 09. 18.

Natural Language Processing Techniques참고 문헌 15인용 수 8

한 줄 요약

이 논문은 대규모 병렬 코퍼스와 도메인 전용 튜닝을 활용하여 여행 도메인에 최적화된 프로덕션 규모의 신경 기계 번역(NMT) 시스템을 제시한다. Adam과 학습률 감소를 조합하고, 명사적 실체를 사전 처리하며, 오류 탐지에 산업 감수성 프레임워크를 적용한 결과, BLEU 점수만으로 평가하는 것보다 번역 품질 평가에서 뛰어난 성능을 보였다. 인간 평가 결과, 더 큰 학습 코퍼스(1,000만 문장)가 BLEU 점수의 추세와는 다르게 번역 품질을 향상시켰다.

ABSTRACT

While some remarkable progress has been made in neural machine translation (NMT) research, there have not been many reports on its development and evaluation in practice. This paper tries to fill this gap by presenting some of our findings from building an in-house travel domain NMT system in a large scale E-commerce setting. The three major topics that we cover are optimization and training (including different optimization strategies and corpus sizes), handling real-world content and evaluating results.

연구 동기 및 목표

• 대규모 전자상거래 환경에서 여행 도메인에 특화된 확장 가능하고 고품질의 NMT 시스템을 개발하기 위해.
• 단일 및 다중 GPU 환경에서 수렴 속도와 성능 향상을 위해 다양한 최적화 알고리즘(SGD, Adam, Adagrad, Adadelta)을 비교 평가하기 위해.
• 희귀어 및 도메인 특화어 처리를 위해 명사적 실체 사전 처리와 BPE 토큰화를 적용하여 번역 품질을 향상시키기 위해.
• 자동 평가(BLEU)와 인간 평가를 결합한 견고한 평가 파이프라인을 구축하고, 핵심 오류를 탐지하기 위한 산업 감수성 프레임워크를 도입하기 위해.
• BLEU 점수만으로는 NMT 시스템의 향상 여부를 추적하기에 부적절하며, 특히 도메인 특화 환경에서는 더욱 그러하다는 것을 입증하기 위해.

제안 방법

• OpenNMT를 사용하여 양방향 LSTM 인코더와 디코더, 잔차 연결, 드롭아웃(0.3)을 적용한 인코더-디코더 NMT 모델을 학습시켰다.
• 유럽어를 위한 입력 피드백 어텐션과 케이스 특징을 적용하여 정렬과 유창성 향상을 도모했다.
• 희귀어 및 OOV(Out-of-Vocabulary)어 처리를 위해 바이트-페어 인코딩(BPE)을 사용하여 저자원 및 도메인 특화어에 대한 일반화 능력을 향상시켰다.
• 예를 들어 호텔 편의시설, 위치 등 명사적 실체를 워드2벡터 기반 시드 확장과 키워드 매칭을 활용해 사전 처리하여 번역 정확도를 향상시켰다.
• 원본 및 번역 텍스트 간 핵심 요소(예: 주차, 반려동물)의 불일치를 탐지하기 위해 두 개의 선형 모델 분류기(원본 및 번역용)를 사용한 산업 감수성 프레임워크(_BS_F_)를 구현했다.
• 자동 BLEU 점수 평가와 인간 평가(충실도 및 유창성)를 결합하였으며, BSF 성능 검증을 위해 할로우 세트를 활용했다.

실험 결과

연구 질문

• RQ1 여행 도메인 NMT 시스템에서 단일 GPU 환경에서 다양한 최적화 알고리즘(SGD, Adam, Adagrad, Adadelta)의 수렴 속도와 번역 품질을 비교할 때 어떤 차이가 있는가?
• RQ2 학습 병렬 코퍼스 크기를 100만 문장에서 1,000만 문장으로 증가시킬 경우, 인간 평가 및 BLEU 점수로 측정한 번역 품질은 어느 정도 향상되는가?
• RQ3 BPE 토큰화와 명사적 실체 사전 처리가 희귀어 및 도메인 특화어의 번역 품질 향상에 얼마나 효과적인가?
• RQ4 생산 규모의 NMT 시스템에서 BLEU 점수와 인간 평가의 유창성 및 충실도 간 상관관계는 어느 정도인가?
• RQ5 산업 감수성 프레임워크는 표준 지표가 놓치는 핵심 번역 오류(예: 주차 가능 여부 오류)를 효과적으로 탐지할 수 있는가?

주요 결과

• 에포크 15 이후, Adam보다 학습률 감소를 적용한 SGD가 퍼즐리티 및 BLEU 점수 모두에서 뛰어난 성능을 보였다.
• Adagrad는 성능이 열악하여 20 에포크 후 BLEU 점수가 3.14에 머물렀고, SGD는 46.58 BLEU에 도달했다.
• 산업 감수성 프레임워크는 영어-독일어 번역에서 '주차 가능 여부' 오류 탐지에 97%의 F1 스코어를 기록했으며, 모든 카테고리에서 높은 정밀도와 재현율을 확보했다.
• 인간 평가 결과, 1,000만 문장 학습 코퍼스가 가장 높은 충실도 및 유창성 점수를 기록했으며, BLEU 점수는 이와 같은 향상 추세를 반영하지 못했다.
• BLEU 점수와 인간 평가 지표 간 상관관계가 약했으며, 이는 BLEU 점수만으로는 도메인 특화 환경에서 실제 번역 품질을 대체하기에 부적절하다는 것을 시사한다.
• 비동기적 SGD 병렬 처리가 훈련 시간을 크게 단축시켜 프로덕션 규모 NMT 개발의 반복 주기를 단축시켰다.