[논문 리뷰] Toward Multilingual Neural Machine Translation with Universal Encoder and Decoder

Thanh-Le Ha, Jan Niehues외 1명|arXiv (Cornell University)|2016. 11. 15.

Natural Language Processing Techniques참고 문헌 15인용 수 266

한 줄 요약

이 논문은 많은-대-다양한 번역을 가능하게 하는 단일 공유 인코더/디코더를 가진 통합형 다국어 NMT 프레임워크를 제시하며, 언어별 코딩과 목표 강제화(target forcing)를 사용해 아키텍처 변경 없이 다중-다양성 번역을 가능하게 하고, 자원이 부족한 설정과 제로-리소스 환경에서 개선을 보인다.

ABSTRACT

In this paper, we present our first attempts in building a multilingual Neural Machine Translation framework under a unified approach. We are then able to employ attention-based NMT for many-to-many multilingual translation tasks. Our approach does not require any special treatment on the network architecture and it allows us to learn minimal number of free parameters in a standard way of training. Our approach has shown its effectiveness in an under-resourced translation scenario with considerable improvements up to 2.6 BLEU points. In addition, the approach has achieved interesting and promising results when applied in the translation task that there is no direct parallel corpus between source and target languages.

연구 동기 및 목표

• 여러 언어를 위한 단일 인코더와 단일 디코더를 사용하는 다국어 NMT 프레임워크를 동기 부여하고 개발한다.
• 다국어 번역에서 아키텍처 변경 없이 어텐션 메커니즘을 가능하게 한다.
• 언어별 코딩과 목표 강제를 활용해 번역 방향과 언어 정렬을 제어한다.
• 저자원 및 제로-리소스 번역 시나리오에서 접근 방식을 평가해 이점과 한계를 파악한다.

제안 방법

• 주목(attention) 구성을 변경하지 않고 언어 간에 하나의 보편 인코더/디코더를 채용한다.
• 언어별 코딩을 적용해 단어 앞에 언어 코드를 접두어로 붙여(예: @de@, @en@) 서로 다른 언어를 공유 임베딩으로 배치한다.
• 소스 문장에 특정 대상 언어를 지향하도록 언어별 센티넬을 앞뒤에 추가하여 목표 언어로의 번역을 유도하는 타깃 강제를 도입한다.
• 공유 인코더/디코더와 동일한 어텐션을 사용하는 표준 NMT 학습 절차를 이용하고 단어 조합 관리를 위해 BPE 서브워드 단위를 활용한다.
• 저자원 번역을 개선하기 위해 모국어 데이터 및 보조 언어를 포함하는 Mix-Source 또는 Mix-Multi-Source 전략을 사용한다.
• BLEU를 이용해 자원이 부족한 English→German 및 제로-리소스 German→French 시나리오에서 평가하고, 기준선 및 피벗/브리지 변형과 비교한다.

실험 결과

연구 질문

• RQ1 단일 보편 인코더와 디코더가 아키텍처 변경 없이 다국어 다-다양한 번역을 처리할 수 있는가?
• RQ2 언어별 코딩과 목표 강제가 효과적인 다국어 NMT를 가능하게 하고 파라미터 수를 줄이는가?
• RQ3 Mix-Source 및 Mix-Multi-Source 전략으로의 다국어 학습은 저자원 및 제로-리소스 설정에서 어떤 성능을 보이는가?
• RQ4 이 통합 다국어 프레임워크에서 대형 모국어 말뭉치를 사용하는 영향은 무엇인가?

주요 결과

시스템	BLEU_tst2013	BLEU_tst2014	Delta_tst2013	Delta_tst2014
Baseline (En→De)	24.35	20.62	-	-
Mix-source (En,De→De,De)	26.99	22.71	+2.64	+2.09
Mix-multi-source (En,Fr→De,De)	26.64	22.21	+2.21	+1.59
Baseline (En→De) with large monolingual data	-	-	-	-
Mix-source big (En,De→De,De)	25.87	21.68	+1.52	+1.06
Bridge (De,En,En→En,Fr,En)	9.70	-	-3.71	-
Universal (De,En,En,Fr→En,Fr,En,Fr)	10.77	-	-2.64	-

• 저자원 English→German 번역에서 Mix-source는 Baseline 대비 tst2013에서 BLEU를 2.64, tst2014에서 2.09 증가시켰고, Mix-multi-source는 각각 2.21 및 1.59 증가시켰다.
• 대규모 모국어 데이터를 Mix-source 설정으로 통합하면 병렬 데이터에 대한 적응 후 tst2013에서 BLEU가 1.52, tst2014에서 1.06 증가했다.
• 제로-리소스 독일어→프랑스어 실험에서 Bridge 및 Universal 전략은 Pivot 베이스라인보다 성능이 낮았으며, BLEU 점수는 각각 9.70 및 10.77로 Pivot의 13.41에 미치지 못했고, 언어 식별 오류는 무시할 수 없었다(Bridge 약 21.27% 단어_wrong_language; Universal 약 17.57%).
• 이 접근 방식은 아키텍처 재설계 없이 다국어성을 보여주고 경쟁력 있는 결과를 확보했으나, 제로-리소스 시나리오에서의 균형 및 강제 메커니즘의 도전과제를 부각한다.