[논문 리뷰] Contextual Parameter Generation for Universal Neural Machine Translation

Emmanouil Antonios Platanios, Mrinmaya Sachan외 2명|arXiv (Cornell University)|2018. 08. 26.

Natural Language Processing Techniques참고 문헌 15인용 수 12

한 줄 요약

이 논문은 공유된 신경 기계 번역 모델을 위한 언어별 인코더 및 디코더 파라미터를 동적으로 생성하는 문맥 기반 파라미터 생성기(CPG)를 제안한다. 이는 개선된 성능을 얻는 유니버설 다국어 번역을 가능하게 한다. 언어 임베딩을 파라미터 생성의 문맥으로 활용하여 IWSLT-15 및 IWSLT-17에서 최신 기술 성능을 달성하였으며, 아키텍처 변경 없이 제로샷 번역과 단일 언어 미세조정을 지원한다.

ABSTRACT

We propose a simple modification to existing neural machine translation (NMT) models that enables using a single universal model to translate between multiple languages while allowing for language specific parameterization, and that can also be used for domain adaptation. Our approach requires no changes to the model architecture of a standard NMT system, but instead introduces a new component, the contextual parameter generator (CPG), that generates the parameters of the system (e.g., weights in a neural network). This parameter generator accepts source and target language embeddings as input, and generates the parameters for the encoder and the decoder, respectively. The rest of the model remains unchanged and is shared across all languages. We show how this simple modification enables the system to use monolingual data for training and also perform zero-shot translation. We further show it is able to surpass state-of-the-art performance for both the IWSLT-15 and IWSLT-17 datasets and that the learned language embeddings are able to uncover interesting relationships between languages.

연구 동기 및 목표

• 공유 아키텍처 내에서 언어별 파라미터화를 가능하게 하여 유니버설 및 각 언어별 NMT 모델의 한계를 해결하기 위해.
• 언어 간 통제된 파라미터 공유를 통해 자원이 적은 환경에서 샘플 효율성과 성능을 향상시키기 위해.
• 추가적인 학습 절차 없이 단일 언어 데이터를 사용하여 제로샷 및 준지도 학습 번역을 가능하게 하기 위해.
• 언어적 유사성을 반영하는 의미 있고 해석 가능한 언어 임베딩을 학습하기 위해.
• 최소한의 아키텍처 변경으로 기존 NMT 모델에 즉시 통합 가능한 보완 기법을 제공하기 위해.

제안 방법

• 원천 및 대상 언어 임베딩을 입력으로 받아 인코더 및 디코더의 모델 가중치를 생성하는 문맥 기반 파라미터 생성기(CPG)를 도입한다.
• CPG는 입력 문장마다 동적으로 파라미터를 생성하여 핵심 모델 아키텍처를 공유하면서도 언어별 적응을 가능하게 한다.
• NMT 모델의 나머지 부분—인코더, 디코더, 어텐션 메커니즘—은 모든 언어 쌍 간에 그대로 공유되고 변경되지 않는다.
• 언어 임베딩는 전체 시스템의 일부로 엔드 투 엔드로 훈련되며, 모델이 언어 간 관계를 학습할 수 있도록 한다.
• CPG를 통해 훈련 중에 보지 못한 언어 쌍에 대해서도 파라미터를 생성함으로써 제로샷 번역을 지원한다.
• 단일 언어 데이터는 노이즈 제거 오토인코더 목적함수를 통해 활용되어 준지도 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 각 언어별 모델 특화 없이도 단일 NMT 모델이 다수의 언어 쌍에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 아키텍처 변경 없이도 공유 모델 내에서 언어별 파라미터화를 달성할 수 있는가?
• RQ3 CPG가 훈련 중에 보지 못한 언어 쌍에 대해 효과적인 제로샷 번역과 단일 언어 데이터를 활용한 준지도 학습을 가능하게 하는가?
• RQ4 학습된 언어 임베딩가 알려진 언어 간 언어학적 유사성을 반영하는가?
• RQ5 완전한 재학습 없이도 새로운 언어에 일반화할 수 있는가?

주요 결과

• 제안된 모델은 IWSLT-15 및 IWSLT-17 다국어 번역 벤치마크에서 최신 기술 성능을 달성한다.
• Johnson 등(2017)의 기존 유니버설 NMT 접근법보다 자원이 적은 환경과 자원이 많은 환경 양쪽에서 성능이 뛰어나다.
• 훈련 중에 보지 못한 언어 쌍 간의 제로샷 번역을 가능하게 하여 강력한 일반화 능력을 보여준다.
• 노이즈 제거 오토인코딩 목적함수를 통해 단일 언어 데이터를 효과적으로 활용하여 병렬 데이터 없이도 성능 향상을 이룬다.
• 학습된 언어 임베딩는 알려진 언어 유사성을 반영하며, 임베딩 간余kosine 거리가 알려진 언어 가문 관계(예: 독일어와 네덜란드어)를 반영한다.
• 통제된 공유를 통해 파라미터 수를 줄이면서도 높은 성능를 유지함으로써 확장 가능하고 샘플 효율적인 접근법을 제공한다.