[논문 리뷰] Cross-lingual Alignment vs Joint Training: A Comparative Study and A Simple Unified Framework

Zi-Rui Wang, Jiateng Xie외 4명|arXiv (Cornell University)|2019. 10. 10.

Topic Modeling참고 문헌 59인용 수 9

한 줄 요약

이 논문은 다국어 표현 학습을 향상시키기 위해 비지도 병행 학습과 다국어 간 정렬을 통합하는 통합 프레임워크를 제안한다. 병행 학습으로 초기화하고 정렬을 통해 보완함으로써, 이 방법은 MUSE 이중어사전 유도 및 CoNLL 다국어 NER 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 다양한 작업에서 독립적인 정렬 및 병행 학습 접근 방식을 모두 능가한다.

ABSTRACT

Learning multilingual representations of text has proven a successful method for many cross-lingual transfer learning tasks. There are two main paradigms for learning such representations: (1) alignment, which maps different independently trained monolingual representations into a shared space, and (2) joint training, which directly learns unified multilingual representations using monolingual and cross-lingual objectives jointly. In this paper, we first conduct direct comparisons of representations learned using both of these methods across diverse cross-lingual tasks. Our empirical results reveal a set of pros and cons for both methods, and show that the relative performance of alignment versus joint training is task-dependent. Stemming from this analysis, we propose a simple and novel framework that combines these two previously mutually-exclusive approaches. Extensive experiments demonstrate that our proposed framework alleviates limitations of both approaches, and outperforms existing methods on the MUSE bilingual lexicon induction (BLI) benchmark. We further show that this framework can generalize to contextualized representations such as Multilingual BERT, and produces state-of-the-art results on the CoNLL cross-lingual NER benchmark.

연구 동기 및 목표

• 다양한 다국어 NLP 작업에서 다국어 간 정렬과 병행 학습 방법을 체계적으로 비교하기 위해.
• 각 파aradigm이 다양한 작업 환경에서 가지는 강점과 한계를 분석하기 위해.
• 정렬과 병행 학습의 장점을 모두 결합한 통합 프레임워크를 개발하기 위해.
• 정렬이 비지도 병행 학습을 향상시킬 수 있는지, 그리고 동일 수준의 지도 정보(예: 이중어사전)를 사용하는 지도 학습 병행 학습 방법과 비교해 볼 때 어떻게 다른지 평가하기 위해.
• 제안된 프레임워크를 Multilingual BERT와 같은 컨텍스트 기반 표현으로 확장하기 위해.

제안 방법

• 공통 어휘를 가진 병합된 단국어 코퍼스를 기반으로 비지도 병행 학습을 통해 다국어 표현을 초기화한다.
• 다국어 간 정렬을 병행 학습된 표현을 공통 벡터 공간으로 매핑하는 보완 단계로 적용한다.
• 비지도 정렬 기법(예: 단어 간 일대일 매칭 또는 분포 매칭)을 사용해 병행 임베딩을 보완한다.
• 설정에 따라 단국어 또는 다국어 지도 정보를 사용해 정렬 모듈을 훈련한다.
• 정적 단어 임베딩과 Multilingual BERT와 같은 컨텍스트 기반 표현 모두에 통합 프레임워크를 적용한다.
• 표준 미세조정 절차를 사용해 최종 표현을 다운스트림 작업에 대해 미세조정한다.

실험 결과

연구 질문

• RQ1 비지도 기계 번역에서 관찰된 병행 학습의 성능 우월성이 다른 다국어 작업으로 일반화되는가?
• RQ2 정렬 기법이 비지도 병행 학습으로 학습된 표현의 품질을 향상시킬 수 있는가?
• RQ3 제안된 하이브리드 프레임워크는 동일 수준의 지도 정보를 사용하는 지도 학습 병행 학습 방법과 비교해 어떻게 다른가?
• RQ4 이 프레임워크는 Multilingual BERT와 같은 컨텍스트 기반 표현에 효과적으로 적용될 수 있는가?
• RQ5 하이브리드 접근 방식이 독립적인 정렬 및 병행 학습보다 우월한 조건은 무엇인가?

주요 결과

• 정렬과 병행 학습의 상대적 성능은 작업에 따라 달라지며, 비지도 기계 번역에서는 병행 학습이 뛰어나고, 이중어사전 유도에서는 정렬이 뛰어나다.
• 제안된 통합 프레임워크는 MUSE 이중어사전 유도 벤치마크에서 기준 정렬 및 병행 학습 방법을 모두 능가한다.
• CoNLL 다국어 NER 벤치마크에서는 Multilingual BERT에 적용했을 때 최신 기술 수준의 결과를 달성한다.
• 하이브리드 접근 방식은 컨텍스트 기반 표현으로 일반화되며, 다양한 NLP 작업에서 일관된 성능 향상을 보여준다.
• 단지 비지도 정렬만을 사용해도 성능 향상이 크게 향상되며, 이는 정렬을 통한 보완이 병행 학습 출력을 향상시킨다는 것을 보여준다.
• 이 방법은 다양한 언어 조합과 작업에서 뛰어난 강건성을 보이며, 특정 설정을 초월해 넓은 적용 가능성을 시사한다.