[논문 리뷰] Zero-Resource Multilingual Model Transfer: Learning What to Share

Xilun Chen, Ahmed Hassan Awadallah외 3명|arXiv (Cornell University)|2018. 09. 27.

Topic Modeling인용 수 17

한 줄 요약

이 논문은 적대적 훈련과 전문가의 혼합 아키텍처를 통해 언어에 관계없이 공통되는 특징과 언어에 특화된 특징을 동시에 활용하는 다국어 전이 학습 모델을 제안한다. 이는 타겟 언어 데이터나 다국어 자원이 없이도 효과적인 제로리소스 전이를 가능하게 한다. 다양한 텍스트 분류 및 시퀀스 태깅 작업, 특히 대규모 산업용 데이터셋에서도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Modern NLP applications have enjoyed a great boost utilizing neural networks models. Such deep neural models, however, are not applicable to most human languages due to the lack of annotated training data for various NLP tasks. Cross-lingual transfer learning (CLTL) is a viable method for building NLP models for a low-resource target language by leveraging labeled data from other (source) languages. In this work, we focus on the multilingual transfer setting where training data in multiple source languages is leveraged to further boost target language performance. Unlike most existing methods that rely only on language-invariant features for CLTL, our approach coherently utilizes both language-invariant and language-specific features at instance level. Our model leverages adversarial networks to learn language-invariant features, and mixture-of-experts models to dynamically exploit the similarity between the target language and each individual source language. This enables our model to learn effectively what to share between various languages in the multilingual setup. Moreover, when coupled with unsupervised multilingual embeddings, our model can operate in a zero-resource setting where neither target language training data nor cross-lingual resources are available. Our model achieves significant performance gains over prior art, as shown in an extensive set of experiments over multiple text classification and sequence tagging tasks including a large-scale industry dataset.

연구 동기 및 목표

• 정답 훈련 데이터가 없는 저자원 언어를 위한 효과적인 NLP 모델을 구축하는 데 도전한다.
• 개별 언어 인스턴스 수준에서 언어에 관계없이 공통되는 특징과 언어에 특화된 특징을 일관적으로 통합함으로써 다국어 전이 학습을 향상시킨다.
• 라벨이 있는 타겟 언어 데이터나 다국어 자원이 전혀 없는 제로리소스 학습을 가능하게 한다.
• 타겟 언어와 유사도에 따라 어떤 소스 언어를 활용할지 동적으로 결정한다.
• 저자원 환경에서 다국어 텍스트 분류 및 시퀀스 태깅 작업에서 뛰어난 성능을 달성한다.

제안 방법

• 다양한 소스 언어 간에 언어에 관계없이 공통되는 표현을 학습하기 위해 적대적 네트워크를 사용한다.
• 타겟 언어와의 유사도에 따라 개별 소스 언어의 기여도를 동적으로 선택하고 가중치를 조정하기 위해 전문가의 혼합 아키텍처를 활용한다.
• 개별 인스턴스 수준에서 언어에 관계없이 공통되는 특징과 언어에 특화된 특징을 결합하여 표현 학습을 향상시킨다.
• 비지도 다국어 임베딩을 활용하여 제로리소스 동작을 가능하게 하며, 병렬 데이터나 타겟 예측의 레이블이 필요 없도록 한다.
• 공유된 특징 학습과 언어별 특징 학습을 동시에 최적화하는 통합 목표를 사용해 모델을 종단 간(end-to-end)으로 훈련시킨다.
• 다양한 최종 NLP 작업을 지원하기 위해 공유 인코더와 작업별 헤드를 활용한다.

실험 결과

연구 질문

• RQ1 다국어 전이 학습 환경에서 여러 소스 언어 간에 무엇을 공유할 것인지 효과적으로 학습하는 방법은 무엇인가?
• RQ2 언어에 관계없이 공통되는 특징과 언어에 특화된 특징을 함께 최적화할 경우 제로리소스 전이 성능 향상에 어느 정도 기여할 수 있는가?
• RQ3 전문가의 혼합 메커니즘은 주어진 타겟 언어에 대해 가장 관련성이 높은 소스 언어를 동적으로 식별하고 활용할 수 있는가?
• RQ4 라벨이 있는 타겟 데이터나 다국어 자원이 전혀 없을 경우 모델의 성능은 어떻게 되는가?
• RQ5 적대적 훈련과 동적 전문가 선택 메커니즘의 조합이 다국어 NLP 성능에 어떤 영향을 미치는가?

주요 결과

• 여러 텍스트 분류 및 시퀀스 태깅 벤치마크에서 이전 최신 기술 수준의 방법들보다 뚜렷한 성능 향상을 달성한다.
• 언어에 관계없이 공통되는 특징과 언어에 특화된 특징을 통합함으로써 저자원 환경에서 더 강력하고 유연한 표현을 얻을 수 있다.
• 전문가의 혼합 구성 요소가 각 타겟 언어 인스턴스에 대해 가장 관련성이 높은 소스 언어를 효과적으로 식별하고 우선순위를 정한다.
• 라벨이 있는 타겟 데이터나 다국어 자원이 전혀 필요 없이 제로리소스 설정에서도 성공적으로 작동한다.
• 대규모 산업용 데이터셋에서도 뛰어난 일반화 성능을 보이며 실용적 적용 가능성을 확인한다.
• 언어에 관계없이 공통되는 특징 학습을 위한 적대적 훈련은 병렬 문장이 없더라도 다국어 간 정렬을 향상시킨다.