[논문 리뷰] A Brief Survey of Multilingual Neural Machine Translation

Raj Dabre, Chenhui Chu외 1명|arXiv (Cornell University)|2019. 05. 14.

Natural Language Processing Techniques참고 문헌 96인용 수 4

한 줄 요약

이 종합 검토는 자원 시나리오와 모델링 원칙에 따라 분류된 다국어 신경 기계 번역(MNMT)에 대한 종합적인 개요를 제공한다. 지식 전이, 모델 효율성, 다국어 표현 학습이 주요 이점으로 강조되며, 연구자들이 MNMT 아키텍처, 데이터셋, 그리고 영역별 번역 및 다국어 표현 학습과 같은 향후 방향을 체계적으로 탐색할 수 있도록 체계적인 프레임워크를 제공한다.

ABSTRACT

We present a survey on multilingual neural machine translation (MNMT), which has gained a lot of traction in the recent years. MNMT has been useful in improving translation quality as a result of knowledge transfer. MNMT is more promising and interesting than its statistical machine translation counterpart because end-to-end modeling and distributed representations open new avenues. Many approaches have been proposed in order to exploit multilingual parallel corpora for improving translation quality. However, the lack of a comprehensive survey makes it difficult to determine which approaches are promising and hence deserve further exploration. In this paper, we present an in-depth survey of existing literature on MNMT. We categorize various approaches based on the resource scenarios as well as underlying modeling principles. We hope this paper will serve as a starting point for researchers and engineers interested in MNMT.

연구 동기 및 목표

• 자원 가용성과 모델링 원칙에 따라 다국어 신경 기계 번역(MNMT)의 접근 방식을 분류하여, 급격히 증가하는 MNMT 연구를 체계화한다.
• 다양한 번역 시나리오인 다방향, 저자원/영자원, 다중 소스 번역에서 기존 MNMT 시스템의 주요 설계 선택, 강점, 한계를 식별하고 분석한다.
• 이전의 다국어 통계 및 규칙 기반 번역 시스템과의 관계에서 MNMT의 역사적 배경을 제시한다.
• MNMT와 NMT의 도메인 적응을 비교하여, 예를 들어 가짜 병렬 데이터 생성 및 전이 학습과 같은 기술에서의 유사점과 차이점을 강조한다.
• 언어 무관 표현 학습, 다중 타겟 언어 모델링, 코드 혼합 언어 처리와 같은 미래 연구 방향을 제안한다.

제안 방법

• 다국어 번역의 주요 시나리오로 분류된 MNMT 접근 방식: 다방향 번역, 저자원/영자원 번역(전이 학습, 피봇 기반 번역, 영자원 번역 포함), 다중 소스 번역.
• 파rameter 효율성을 위한 공유 인코더, 공유 어텐션 메커니즘, 어댑터 기반 아키텍처 등의 모델링 원칙 분석.
• OPUS, Tatoeba, WMT 벤치마크를 포함한 다국어 MT의 주요 데이터셋과 공동 과제 조사.
• MNMT와 NMT의 도메인 적응을 비교하며, 특히 가짜 병렬 데이터 생성을 위한 백트랜슬레이션 및 전이 학습 기술을 분석.
• 다국어 단어 및 문장 임베딩의 사전 학습이 일반화 및 영자원 성능 향상에 기여하는 바를 평가.
• 언어 무관 표현 학습 및 공동 다국어-다도메인 모델링과 같은 미래의 방법론적 방향 제안.

실험 결과

연구 질문

• RQ1 다국어 신경 기계 번역은 다양한 언어 쌍 간의 지식 전이를 통해 번역 품질을 어떻게 향상시킬 수 있는가?
• RQ2 특히 저자원 환경에서 단일 NMT 모델이 다수의 언어를 처리하기 위해 가장 효과적인 아키텍처 설계는 무엇인가?
• RQ3 다방향, 영자원, 피봇 기반 번역 접근 방식은 성능과 적용 가능성 면에서 어떻게 다를까?
• RQ4 단일 언어 또는 병렬 코퍼스에 대한 사전 학습은 MNMT 시스템의 다국어 표현 학습을 어떻게 향상시킬 수 있는가?
• RQ5 동시에 다국어 언어와 코드 혼합 언어를 처리하기 위해 MNMT를 확장하는 데 도전 과제와 기회가 무엇인가?

주요 결과

• MNMT는 공유 표현을 활용함으로써 언어 간 지식 전이를 가능하게 하여, 특히 저자원 언어 쌍에서 번역 품질을 크게 향상시킨다.
• 다방향 NMT 시스템은 다수의 언어 쌍 간에 파라미터를 공유함으로써 모델 크기를 작게 유지하여 자원 제약이 있는 장치에서의 배포 비용을 줄인다.
• 공유된 다국어 표현 덕분에 MNMT에서 영자원 번역이 가능해지며, 병렬 학습 데이터 없이도 언어 쌍 간 번역이 가능하다.
• MNMT에서 전이 학습 및 백트랜슬레이션 기법은 고자원 언어에서 저자원 언어로 지식을 전이할 경우 특히 높은 성능 향상을 보인다.
• 다국어 문장 임베딩 및 mBERT, XLM-R와 같은 사전 학습 방법은 영자원 및 소수의 예시 번역 성능 향상에 유망한 성과를 보였다.
• 진전이 있었음에도 불구하고, 특히 어순의 다양성과 언어 간 길이 변동성이 있는 표현 방식으로 인해 언어 무관 표현을 모델링하는 데 도전 과제가 남아 있다.