[논문 리뷰] Machine Translation at Booking.com: Journey and Lessons Learned

Pavel Levin, Nishikant Dhanuka외 1명|arXiv (Cornell University)|2017. 07. 25.

Natural Language Processing Techniques참고 문헌 11인용 수 8

한 줄 요약

이 논문은 Booking.com이 통계적 기계 번역(SMT) 시스템에서 신경 기계 번역(NMT) 시스템으로 전환한 배경을 제시하며, 자동 평가와 인간 평가를 통해 두 시스템을 평가한다. NMT 시스템은 SMT 시스템과 일반 목적의 엔진보다 유의미하게 뛰어나며, 특히 유창성과 적합성 측면에서 뛰어나다. 문장 길이가 양쪽 시스템 모두 번역 품질에 유의미한 부정적 영향을 미치지만, NMT는 더 긴 입력에 더 강건한 편이다.

ABSTRACT

We describe our recently developed neural machine translation (NMT) system and benchmark it against our own statistical machine translation (SMT) system as well as two other general purpose online engines (statistical and neural). We present automatic and human evaluation results of the translation output provided by each system. We also analyze the effect of sentence length on the quality of output for SMT and NMT systems.

연구 동기 및 목표

• 신규로 개발된 신경 기계 번역(NMT) 시스템의 성능을 기존의 통계적 기계 번역(SMT) 시스템과 두 개의 일반 목적 온라인 번역 엔진과 비교하기 위해 평가하는 것.
• SMT 및 NMT 시스템에서 문장 길이가 번역 품질에 미치는 영향을 분석하는 것.
• 자동 평가 및 인간 평가 지표를 모두 활용한 종합적인 비교를 제공하는 것.
• 실제 전자상거래 환경에서 NMT를 구현할 때 발생한 실무적 과제와 얻은 교훈을 기록하는 것.

제안 방법

• Booking.com의 도메인 특화 콘텐츠에 맞게 최적화된 고유의 신경 기계 번역(NMT) 시스템 개발 및 구현.
• 비교를 위한 기준으로 사용하기 위해 통계적 기계 번역(SMT) 시스템을 구현.
• 두 개의 외부 일반 목적 온라인 번역 엔진(한 개는 통계적, 한 개는 신경 기계 번역 기반)과의 통합 및 벤치마크 수행.
• 자동 평가 지표(예: BLEU, METEOR)와 인간 평가를 활용한 번역 품질 평가.
• 다양한 문장 길이에서의 번역 품질 분석을 통해 시스템의 강건성 평가.
• 유창성, 적합성, 전체 품질에 중점을 둔 인간 평가 데이터 수집 및 분석.

실험 결과

연구 질문

• RQ1 도메인 특화 NMT 시스템은 내부 SMT 시스템과 일반 목적 온라인 엔진과 비교해 어떤 수준의 품질을 보이는가?
• RQ2 SMT 및 NMT 시스템에서 문장 길이는 번역 품질에 어떤 영향을 미치는가?
• RQ3 인간 평가자들은 NMT가 생성한 번역과 SMT 및 외부 엔진의 번역을 각각 어떻게 평가하는가?
• RQ4 실제 전자상거래 생산 환경에서 NMT를 구현할 때의 주요 과제와 얻은 교훈은 무엇인가?

주요 결과

• 고유의 NMT 시스템은 자동 평가와 인간 평가 모두에서 내부 SMT 시스템을 뛰어넘었으며, 특히 유창성과 적합성 측면에서 유의미한 향상을 보였다.
• NMT 시스템은 SMT 시스템과 일반 목적 엔진보다 높은 BLEU 및 METEOR 점수를 기록하여 자동 평가 성능이 뛰어나다는 것을 확인했다.
• 인간 평가 결과, NMT 번역은 SMT 출력보다 더 유창하고 적합하다는 평가를 받았으며, 통계적으로 유의미한 선호도가 NMT에 기울었다.
• 긴 문장은 SMT 및 NMT 시스템 양쪽 모두 번역 품질에 부정적 영향을 미쳤지만, NMT 시스템은 문장 길이 증가에 더 강건한 편이었다.
• 일반 목적의 신경 엔진은 통계적 엔진보다 성능이 뛰어났지만, 여전히 Booking.com의 고유 NMT 시스템에 비해 열등한 성능을 보였다.