[논문 리뷰] Achieving Human Parity on Automatic Chinese to English News Translation

Hany Hassan, Anthony Aue외 22명|arXiv (Cornell University)|2018. 03. 15.

Natural Language Processing Techniques참고 문헌 17인용 수 578

한 줄 요약

본 논문은 번역에서의 인간 동등성(human parity)을 정의하고, Dual learning, deliberation networks, 및 agreement regularization을 활용한 중국어→영어 신경 기계 번역 시스템을 구축하며, WMT17 뉴스 데이터에서 전문 인간 번역과의 동등성을 보여준다.

ABSTRACT

Machine translation has made rapid advances in recent years. Millions of people are using it today in online translation systems and mobile applications in order to communicate across language barriers. The question naturally arises whether such systems can approach or achieve parity with human translations. In this paper, we first address the problem of how to define and accurately measure human parity in translation. We then describe Microsoft's machine translation system and measure the quality of its translations on the widely used WMT 2017 news translation task from Chinese to English. We find that our latest neural machine translation system has reached a new state-of-the-art, and that the translation quality is at human parity when compared to professional human translations. We also find that it significantly exceeds the quality of crowd-sourced non-professional translations.

연구 동기 및 목표

• 뉴스 도메인에서 기계 번역의 인간 동등성 정의 및 측정.
• 중국어→영어를 위한 신경 기계 번역 시스템을 개발하여 인간 번역과 동등성에 도달한다.
• 번역 품질을 향상시키기 위해 이중 학습, 공동 학습 및 데이터 필터링을 활용한다.

제안 방법

• 출처 기반 직접 평가를 채택하여 참조 편향을 피한다.
• 중국어→영어 번역의 기본 아키텍처로 Transformer 기반 NMT를 사용한다.
• Dual learning을 구현하여 소스→대상 및 대상→소스 모델을 활용한 지도 및 비지도 데이터에서 학습한다.
• 백-번역(back-translation)과 반지도 학습 목표를 활용하여 양방향 데이터의 모국어 데이터를 활용하는 공동 학습을 적용한다.
• 노출 편향 완화를 위한 두 가지 접근법으로 Deliberation Networks(두 패스 디코딩)와 좌→우 및 우→좌 모델 간의 일치 규제를 도입한다.
• 훈련 데이터 품질 향상을 위한 데이터 선택 및 필터링을 수행한다.
• 여러 모델의 보완적 강점을 활용하기 위한 시스템 조합을 시연한다.

실험 결과

연구 질문

• RQ1 번역에서 합리적인 인간 동등성의 정의는 무엇이며 통계적으로 어떻게 측정할 수 있는가?
• RQ2 중국어→영어 MT 시스템이 뉴스 도메인 데이터에서 전문 인간 번역과 동등성에 도달할 수 있는가?
• RQ3 이중 학습, 공동 학습 및 양방향 데이터 활용이 번역 품질에 얼마나 기여하는가?
• RQ4 두 패스 디코딩과 방향 간 합의가 생성 품질을 향상시키고 노출 편향을 줄이는가?
• RQ5 데이터 품질과 시스템 조합이 인간 동등성에 근접하는 데 어떤 영향을 미치는가?

주요 결과

• 최신 신경 MT 시스템이 중국어→영어 뉴스 번역에서 최첨단 품질을 달성한다.
• 평가된 테스트 세트에서 시스템의 품질은 전문 인간 번역과 통계적으로 구별되지 않는다.
• 이 접근법은 크라우드 소싱 비전문 번역을 크게 능가한다.
• 이중 학습과 공동 학습은 단일 언어 데이터와 이중 언어 데이터를 효과적으로 활용한다.
• Deliberation networks와 합의 정규화는 노출 편향 완화와 번역 품질 향상에 도움을 준다.
• 시스템 조합은 보완적 모델 강점을 활용하여 추가 이득을 낸다.