[논문 리뷰] A neural interlingua for multilingual machine translation

Yichao Lu, Phillip Keung외 4명|arXiv (Cornell University)|2018. 04. 23.

Natural Language Processing Techniques참고 문헌 20인용 수 22

한 줄 요약

이 논문은 다국어 시퀀스-투-시퀀스 NMT 모델 내부에 공통의 언어에 구애받지 않는 표현 계층인 신경 상호언어(neural interlingua)를 제안한다. 이는 피벗 언어 없이도 직접적인 제로샷 번역을 가능하게 한다. 언어별 문장 임베딩을 유니버설한 상호언어로 변환하기 위해 공통의 어텐션 기반 인코더를 사용함으로써, WMT15에서 경쟁적인 BLEU 점수를 달성하고, 예를 들어 영어 분류기로 프랑스어 및 독일어 Yelp 리뷰를 분류하는 등 다국어 간 전이 학습을 가능하게 한다.

ABSTRACT

We incorporate an explicit neural interlingua into a multilingual encoder-decoder neural machine translation (NMT) architecture. We demonstrate that our model learns a language-independent representation by performing direct zero-shot translation (without using pivot translation), and by using the source sentence embeddings to create an English Yelp review classifier that, through the mediation of the neural interlingua, can also classify French and German reviews. Furthermore, we show that, despite using a smaller number of parameters than a pairwise collection of bilingual NMT models, our approach produces comparable BLEU scores for each language pair in WMT15.

연구 동기 및 목표

• 피벗 언어 없이도 직접적인 제로샷 번역을 가능하게 하여 다국어 기계 번역에서 데이터 희소성 문제를 해결한다.
• 다국어 간 전이 학습을 지원할 수 있는 언어에 구애받지 않는 문장 표현을 학습한다.
• 번역 품질을 유지하면서 피벗 기반 번역 방식보다 계산 오버헤드를 줄인다.
• 유니버설 인코더-디코더 모델의 한계, 예를 들어 어휘 크기 제약과 최적화되지 않은 제로샷 성능을 극복한다.
• 공통의 상호언어가 여러 언어 간 통합된 의미론적 표현으로 기능할 수 있음을 보여준다.

제안 방법

• 언어에 구애받지 않는 어텐션 기반 순환 인코더로 구성된 공통의 신경 상호언어를 도입하여 언어별 인코더 출력을 처리한다.
• 각 언어별로 별도의 인코더와 디코더를 사용하지만, 그 사이에 유일한 공통 상호언어 계층을 두어 다국어 시퀀스-투-시퀀스 모델을 훈련한다.
• 언어별 양방향 LSTMs를 인코더로 사용하고, 어텐션 기반 자동회귀 LSTMs를 디코더로 사용한다.
• 각 미니배치가 다른 원천-대상 언어 쌍을 사용하도록 스케줄링된 훈련 전략을 적용하여 다국어 간 공동 학습을 가능하게 한다.
• 목표 디코더의 컨텍스트로 상호언어의 은닉 상태를 사용함으로써, 모든 언어 쌍 간 공통 어텐션 메커니즘 없이도 번역을 가능하게 한다.
• 공통 상호언어를 통해 원천 문장 임베딩을 사용하여 영어 데이터에서 훈련된 분류기를 활용해 프랑스어 및 독일어 리뷰 분류에 일반화시키는 방식으로 다국어 간 전이 학습을 실현한다.

실험 결과

연구 질문

• RQ1 피봇 언어나 병렬 단일언어 데이터 없이도 신경 상호언어가 언어 쌍 간 직접적인 제로샷 번역을 가능하게 할 수 있는가?
• RQ2 상호언어가 의미적으로 유의미한 언어에 구애받지 않는 표현을 학습하여 병렬 번역 간 의미 유사성을 유지하는가?
• RQ3 상호언어가 영어 데이터에서만 훈련된 분류기를 활용해 저자원 언어의 리뷰 분류와 같은 효과적인 다국어 간 전이 학습을 지원할 수 있는가?
• RQ4 BLEU 점수와 추론 효율성 측면에서 피봇 기반 또는 유니버설 인코더-디코더 모델 대비 직접 제로샷 번역의 성능은 어떻게 비교되는가?
• RQ5 쌍별 이원화 모델보다 파rameter 수가 적은데도 불구하고 번역 품질을 경쟁적으로 유지하는가?

주요 결과

• 모델은 피봇 언어 없이 UN Parallel Corpus에서 Fr↔Ru, Zh↔Es, Es↔Fr 쌍에 대해 직접적인 제로샷 번역을 달성한다.
• 유니버설 인코더-디코더 베이스라인 대비 제로샷 번역에서 뚜렷한 BLEU 점수 향상을 보이며 성능이 뛰어나다.
• 병렬 번역에서 유도된 문장 임베딩이 상호언어 공간에서 가까이 위치해 있어 효과적인 의미 정렬이 이루어졌음을 시사한다.
• 영어 데이터에서 훈련된 Yelp 리뷰 분류기가 상호언어를 통해 프랑스어 및 독일어 리뷰로 일반화되어 성능을 발휘함으로써 다국어 간 전이 학습이 가능함을 입증한다.
• 전용 이원화 NMT 모델과 비교해도 BLEU 점수가 유사하게 유지되며, 파rameter 수가 적은 것으로도 경쟁적인 번역 품질을 달성한다.
• 상호언어 덕분에 선형적인 훈련 및 추론 비용을 가지며, 공통 어텐션 메커니즘의 제곱형 스케일링을 피할 수 있다.