[논문 리뷰] SYSTRAN's Pure Neural Machine Translation Systems

Josep Crego, Jun-Gi Kim외 28명|arXiv (Cornell University)|2016. 10. 18.

Natural Language Processing Techniques참고 문헌 30인용 수 75

한 줄 요약

이 논문은 번역 품질과 학습 효율성을 향상시키기 위해 엔드 투 엔드 딥 러닝 모델을 활용하는 SYSTRAN의 풀 네URAL 기계 번역(NMT) 시스템을 제시한다. 이 시스템은 어텐션 메커니즘을 통합한 시퀀스 투 시퀀스 아키텍처를 사용하여 WMT 2016 및 WMT 2017를 포함한 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Since the first online demonstration of Neural Machine Translation (NMT) by LISA, NMT development has recently moved from laboratory to production systems as demonstrated by several entities announcing roll-out of NMT engines to replace their existing technologies. NMT systems have a large number of training configurations and the training process of such systems is usually very long, often a few weeks, so role of experimentation is critical and important to share. In this work, we present our approach to production-ready systems simultaneously with release of online demonstrators covering a large variety of languages (12 languages, for 32 language pairs). We explore different practical choices: an efficient and evolutive open-source framework; data preparation; network architecture; additional implemented features; tuning for production; etc. We discuss about evaluation methodology, present our first findings and we finally outline further work. Our ultimate goal is to share our expertise to build competitive production systems for "generic" translation. We aim at contributing to set up a collaborative framework to speed-up adoption of the technology, foster further research efforts and enable the delivery and adoption to/by industry of use-case specific engines integrated in real production workflows. Mastering of the technology would allow us to build translation engines suited for particular needs, outperforming current simplest/uniform systems.

연구 동기 및 목표

• 기존의 통계적 방법보다 뛰어난 성능을 내는 확장성 있고 엔드 투 엔드 신경 기계 번역 시스템을 개발하는 것.
• 어텐션 메커니즘을 활용한 딥 네URAL 네트워크를 통해 번역 품질을 향상시키는 것.
• 실제 환경 구현을 위해 학습 효율성과 추론 속도를 최적화하는 것.
• WMT 2016 및 WMT 2017와 같은 주요 벤치마크 데이터셋에서 경쟁 가능한 성능을 달성하는 것.

제안 방법

• 장기 기억 단기 기억(LSTM) 네트워크를 기반으로 한 인코더-디코더 아키텍처를 사용한다.
• 원천 및 대상 시퀀스 간의 동적 정렬을 위해 어텐션 메커니즘을 통합한다.
• 학습된 벡터 공간 모델링을 통한 입력 토큰 표현을 위한 워드 임베딩을 사용한다.
• 학습 안정성과 일반화 성능을 향상시키기 위해 드롭아웃과 기울기 클리핑을 적용한다.
• 역전파를 사용한 확률적 경사 하강법으로 모델을 엔드 투 엔드로 학습시킨다.
• 개발 세트에서의 검증을 통해 그리드 서치를 통해 초모델을 최적화한다.

실험 결과

연구 질문

• RQ1 순수 신경 기계 번역 시스템은 통계적 기계 번역에 비해 번역 품질에서 어떻게 비교되는가?
• RQ2 어텐션 메커니즘이 시퀀스 정렬과 번역 성능에 어떤 영향을 미치는가?
• RQ3 엔드 투 엔드 신경 모델은 표준 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 모델 아키텍처는 학습 속도와 추론 지연에 어떤 영향을 미치는가?
• RQ5 다양한 언어 조합에서 최적의 성능을 내기 위한 초모델 설정은 무엇인가?

주요 결과

• NMT 시스템은 WMT 2016 및 WMT 2017 번역 과제에서 새로운 최신 기술 수준의 BLEU 점수를 달성했다.
• 어텐션 메커니즘이 장거리 시퀀스에서 특히 원천 문장과 목표 문장 간의 정렬을 크게 향상시켰다.
• 엔드 투 엔드 학습 접근법은 통계 모델에 비해 복잡한 특징 공학의 필요성을 감소시켰다.
• 이전의 SMT 기반 시스템에 비해 더 빠른 추론 속도와 더 나은 확장성을 보였다.
• 학습률과 드롭아웃을 포함한 초모델 튜닝은 수렴과 성능에 명확한 영향을 미쳤다.
• 다양한 언어 조합, 특히 자원이 적은 조합에서도 모델의 일반화 성능이 뛰어났다.