[논문 리뷰] A Comprehensive Survey of Multilingual Neural Machine Translation

Raj Dabre, Chenhui Chu외 1명|arXiv (Cornell University)|2020. 01. 04.

Natural Language Processing Techniques참고 문헌 145인용 수 23

한 줄 요약

이 종합적 서베이는 최근의 多어 신경 기계 번역(MNMT) 기술 발전을 종합적으로 정리하며, 용도, 자원 환경, 모델링 원칙, 核심 과제의 관점에서 접근 방식을 분류한다. 이는 공유 다국어 표현이 지식 전이를 통해 저자원 번역을 크게 향상시킨다는 것을 보여주며, 확장 가능한 종단 간 다국어 시스템을 위한 용량 한계와 향후 연구 방향을 규명한다.

ABSTRACT

We present a survey on multilingual neural machine translation (MNMT), which has gained a lot of traction in the recent years. MNMT has been useful in improving translation quality as a result of translation knowledge transfer (transfer learning). MNMT is more promising and interesting than its statistical machine translation counterpart because end-to-end modeling and distributed representations open new avenues for research on machine translation. Many approaches have been proposed in order to exploit multilingual parallel corpora for improving translation quality. However, the lack of a comprehensive survey makes it difficult to determine which approaches are promising and hence deserve further exploration. In this paper, we present an in-depth survey of existing literature on MNMT. We first categorize various approaches based on their central use-case and then further categorize them based on resource scenarios, underlying modeling principles, core-issues and challenges. Wherever possible we address the strengths and weaknesses of several techniques by comparing them with each other. We also discuss the future directions that MNMT research might take. This paper is aimed towards both, beginners and experts in NMT. We hope this paper will serve as a starting point as well as a source of new ideas for researchers and engineers interested in MNMT.

연구 동기 및 목표

• 연구자 및 실무자들을 위해 다국어 신경 기계 번역(MNMT) 문헌에 대한 체계적이고 깊이 있는 서베이를 제공하기 위해.
• 용도, 자원 가용성, 모델링 원칙, 핵심 과제의 관점에서 MNMT 접근 방식을 분류하기 위해.
• 지식 전이 및 제로샷 번역에서 특히 중요한 기존 기술의 강점과 약점을 분석하기 위해.
• 확장 가능하고 효율적이며 일반화 가능한 다국어 번역 시스템에서의 열린 문제점과 향후 연구 방향을 규명하기 위해.
• 다국어 NMT 분야의 初심자와 전문가 모두를 위한 기초 참고 자료로 기능하기 위해.

제안 방법

• 사용 사례(다양한 번역, 저자원, 다중 소스), 자원 환경(고자원/저자원/제로 자원), 모델링 원칙(공유 대비 별도의 인코더/디코더), 핵심 문제(예: 용량 병목 현상)의 네 가지 축을 따라 MNMT 접근 방식을 분류한다.
• 주의 메커니즘을 갖춘 순서-순서 모델, 트랜스포머 기반 모델, 다국어 학습을 위한 하이브리드 RNN/CNN/FFN 설계 등 주요 아키텍처를 검토한다.
• 지식 전이 메커니즘, 특히 제로샷 번역과 피봇팅을 분석하며, 고자원 언어의 지도를 통해 저자원 언어 쌍의 성능 향상을 분석한다.
• 용량 병목 현상을 완화하기 위해 파라미터 공유, 점진적 학습, 지식 정제 기법을 평가한다.
• 통합된 ASR, MT, TTS를 갖춘 종단 간 다국어 음성-음성 번역과 같은 새로운 방향성인 다국어 및 다도메인 NMT의 통합을 논의한다.
• 기준 데이터셋에서의 실험 결과를 바탕으로 단일 언어, 双어, 다국어 NMT 시스템을 비교하며 일반화 및 정규화의 이점을 강조한다.

실험 결과

연구 질문

• RQ1 100여 개의 언어 쌍에 대해 성능 저하 없이 단일 다국어 모델이 수백 개 언어 쌍 간 번역을 효과적으로 처리할 수 있는가?
• RQ2 고자원 언어에서 저자원 언어로의 지식 전이가 다국어 NMT에서 번역 품질 향상에 얼마나 기여하는가?
• RQ3 100개 이상의 언어 쌍을 초월할 때 다국어 모델의 확장성에 제약을 주는 주요 아키텍처 및 훈련 과제는 무엇인가?
• RQ4 최적의 번역 성능을 위해 다국어 표현이 언어에 종속되지 않는 일반화 능력과 언어에 특화된 표현력을 어떻게 균형 있게 조절할 수 있는가?
• RQ5 다국어 및 다도메인 학습의 통합 또는 종단 간 다국어 음성-음성 번역이 분야 발전에 어떤 역할을 하는가?

주요 결과

• 공유 다국어 표현 덕분에 지식 전이 덕분에, 목표 쌍에 대응하는 병렬 데이터 없이도 저자원 언어의 번역 품질이 크게 향상된다.
• 공유 다국어 표현은 제로샷 번역을 가능하게 하며, 모델이 교차 언어 전이 기반으로 알려지지 않은 언어 쌍 간 번역을 수행할 수 있도록 한다.
• 성능 향상에도 불구하고 기존 모델은 100개 이상의 언어 쌍으로 확장할 경우 용량 병목 현상에 직면하여 향후 성능 향상이 제한된다.
• 다양한 언어 간 공동 훈련은 모델의 일반화 능력을 향상시키며 정규화 역할을 하여 강건성과 분포 외 성능을 향상시킨다.
• 다중 소스 번역(여러 소스 언어가 하나의 목표 언어로 향하는 방식)은 도전적이지만 유망한 방향이며, 언어별 및 공통 표현을 정교하게 모델링할 필요가 있다.
• 향후 시스템은 RNN, CNN, 자기주의 주의를 조합한 하이브리드 아키텍처와 적대적 훈련을 통해 도메인 및 언어에 관계없이 불변 표현을 학습하는 데 유리할 수 있다.