[논문 리뷰] Multi-Source Cross-Lingual Model Transfer: Learning What to Share

Xilun Chen, Ahmed Hassan Awadallah외 3명|arXiv (Cornell University)|2018. 10. 08.

Topic Modeling참고 문헌 48인용 수 7

한 줄 요약

이 논문은 다중 소스 다국어 번역 모델인 MAN-MoE를 제안한다. 이 모델은 적대적 훈련을 통해 언어 간 불변 특징을 공동으로 학습하고, 혼합 전문가(MoE) 기반 메커니즘을 사용해 언어별 특징을 학습함으로써, 여러 소스 언어로부터 지능적으로 선택적으로 지식을 공유할 수 있도록 한다. 이는 병렬 코퍼스나 다국어 간 감독 신호가 없이도 제로 리소스 환경에서 최첨단 성능을 달성할 수 있도록 한다. 모델은 병렬 코퍼스가 필요 없고 다국어 간 감독이 없는 조건에서, 비지도 다국어 임베딩을 결합함으로써 제로 리소스 설정에서 최첨단 성능을 기록한다.

ABSTRACT

Modern NLP applications have enjoyed a great boost utilizing neural networks models. Such deep neural models, however, are not applicable to most human languages due to the lack of annotated training data for various NLP tasks. Cross-lingual transfer learning (CLTL) is a viable method for building NLP models for a low-resource target language by leveraging labeled data from other (source) languages. In this work, we focus on the multilingual transfer setting where training data in multiple source languages is leveraged to further boost target language performance. Unlike most existing methods that rely only on language-invariant features for CLTL, our approach coherently utilizes both language-invariant and language-specific features at instance level. Our model leverages adversarial networks to learn language-invariant features, and mixture-of-experts models to dynamically exploit the similarity between the target language and each individual source language. This enables our model to learn effectively what to share between various languages in the multilingual setup. Moreover, when coupled with unsupervised multilingual embeddings, our model can operate in a zero-resource setting where neither target language training data nor cross-lingual resources are available. Our model achieves significant performance gains over prior art, as shown in an extensive set of experiments over multiple text classification and sequence tagging tasks including a large-scale industry dataset.

연구 동기 및 목표

• 기존의 다국어 번역 방법이 언어 간 불변 특징에만 의존하고 언어별 유사성을 忽略하는 한계를 해결하기 위해.
• 타겟 언어와의 유사도에 따라 토큰 수준에서 관련된 소스 언어를 동적으로 선택함으로써 다국어 번역 학습 성능을 향상시키기 위해.
• 병렬 코퍼스나 기계 번역 시스템이 필요 없이 효과적인 제로 리소스 전이 학습을 가능하게 하기 위해.
• 다양한 NLP 작업과 저자원 언어 쌍에서 기존의 비지도 및 감독 기반 다국어 번역 방법을 모두 능가하기 위해.

제안 방법

• 다양한 소스 및 타겟 언어 간 언어 간 불변 특징을 학습하기 위해 적대적 훈련을 활용한다.
• 확률적 게이트 메커니즘을 갖춘 혼합 전문가(MoE) 모듈을 도입하여 개별 소스 언어에서 언어별 특징을 동적으로 선택하고 활용한다.
• 병렬 데이터가 없는 제로 리소스 훈련을 가능하게 하기 위해 비지도 다국어 단어 임베딩(예: Chen & Cardie, 2018b)을 통합한다.
• 입력 표현을 위한 공통 인코더를 사용한 후, 특징 불변성을 강제하기 위해 적대적 도메인 식별기를 적용한다.
• 각 토큰마다 각 소스 언어 전문가의 기여도를 결정하기 위해 소프트 어텐션 스타일 게이팅 메커니즘을 적용한다.
• 타겟 언어의 레이블이 없이도 소스 언어 레이블에 대한 교차 엔트로피 손실을 사용해 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 다중 소스 다국어 번역 모델이 여러 소스 언어 간에 무엇을 공유할지 효과적으로 학습하면서도 언어별 패턴을 유지할 수 있는가?
• RQ2 혼합 전문가 모듈의 통합이 다국어 번역에서 공유 특징에만 의존하는 모델과 비교해 성능을 어떻게 향상시키는가?
• RQ3 병렬 코퍼스나 기계 번역 시스템에 접근할 수 없는 조건에서 모델이 얼마나 높은 성능을 달성할 수 있는가?
• RQ4 모델이 다양한 NLP 작업과 언어 쌍에서 비지도 및 감독 기반 다국어 번역 베이스라인을 모두 능가하는가?

주요 결과

• MAN-MoE는 텍스트 분류 및 시퀀스 태깅 작업에서 모든 비지도 다국어 번역 베이스라인을 크게 능가하며, 대규모 산업 데이터셋에서도 동일한 성능을 기록한다.
• 독일어 및 프랑스어에서 MAN-MoE는 피벗 기반 병렬 코퍼스가 필요한 UMM 방법과 유사한 성능을 달성하지만, 완전히 제로 리소스 설정에서 작동한다.
• 일본어에서는 비지도 단어 임베딩의 한계에도 불구하고 강력한 성능을 기록하며, 강력한 다국어 감독을 받는 최첨단 모델들과 몇 점 내외로 근접해 있다.
• 아마존 리뷰 데이터셋에서 MAN-MoE는 병렬 데이터 없이도 CL-SCL, CR-RL, Bi-PV 및 UMM 등의 방법을 능가하는 최첨단 성능을 기록한다.
• 전문가 게이트 가중치의 시각화 결과, 모델이 타겟 언어와 언어적으로 더 가까운 소스 언어(예: 독일어에 대해 영어)를 우선적으로 선택하는 것을 확인할 수 있다.
• 비지도 다국어 임베딩과 결합했을 때, MAN-MoE는 특히 중국어와 일본어와 같은 먼 언어 쌍에서 상용 기계 번역 시스템을 사용하는 모델들과 비교해 유사하거나 더 뛰어난 성능을 기록한다.