[논문 리뷰] A Simple and Effective Method to Improve Zero-Shot Cross-Lingual Transfer Learning

Kunbo Ding, Weijie Liu외 7명|arXiv (Cornell University)|2022. 10. 18.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 병렬 코퍼스나 双어 사전에 의존하지 않고 영어 자원만을 사용하여 제로샷 다국어 번역 학습을 향상시키기 위한 단순하면서도 효과적인 방법—Embedding-Push, Attention-Pull, 그리고 Robust targets—을 제안한다. 영어 임베딩을 다른 언어 클러스터 쪽으로 밀어내고, 상대적 단어 위치를 끌어당기며, 가상의 다국어 임베딩을 사용하여, 이로써 다국어 간 정렬이 향상되고, 병렬 코퍼스 없이도 제로샷 다국어 텍스트 분류에서 최고 성능을 달성한다.

ABSTRACT

Existing zero-shot cross-lingual transfer methods rely on parallel corpora or bilingual dictionaries, which are expensive and impractical for low-resource languages. To disengage from these dependencies, researchers have explored training multilingual models on English-only resources and transferring them to low-resource languages. However, its effect is limited by the gap between embedding clusters of different languages. To address this issue, we propose Embedding-Push, Attention-Pull, and Robust targets to transfer English embeddings to virtual multilingual embeddings without semantic loss, thereby improving cross-lingual transferability. Experimental results on mBERT and XLM-R demonstrate that our method significantly outperforms previous works on the zero-shot cross-lingual text classification task and can obtain a better multilingual alignment.

연구 동기 및 목표

• 저자원 언어에서 병렬 코퍼스나 이중어 사전에 의존하는 제로샷 다국어 번역 학습의 한계를 해결하기 위해.
• 다국어 모델에서 고자원 언어와 저자원 언어 간의 임베딩 클러스터 간격을 줄여 다국어 간 이동 가능성(transferability)을 향상시키기 위해.
• 목표 언어를 지정하지 않고도 다국어 간 강건성과 정렬을 향상시키는 방법을 개발하기 위해.
• 언어별 튜닝 없이도 영어 전용 학습 데이터만을 사용하여 효과적인 제로샷 이동을 가능하게 하여, 저자원 언어 및 少數어 언어에 실용적으로 적용 가능하게 하기 위해.

제안 방법

• Embedding-Push (EPT)는 영어 단어 임베딩을 다른 언어의 클러스터 쪽으로 이동시켜 이종 언어 간 임베딩 간격을 줄인다.
• Attention-Pull (APT)는 단어 임베딩 간 상대적 위치 관계를 유지함으로써 이동 과정에서 의미 일관성을 보존한다.
• Robust targets는 다국어 간 의미적으로 유사한 단어들을 포함하는 임베딩 공간 내 강건한 영역을 정의하기 위해 가상의 다국어 임베딩(VME)을 도입한다.
• 세 가지 목적을 위해 영어 데이터에 동의어 증강을 적용하여 증강된 예시를 생성하고, 이를 모델 학습에 활용한다.
• 원본 입력 스트림과 증강된 입력 스트림 간 가중치를 동결하여 표현 학습의 일관성을 확보한다.
• 이 방법은 mBERT와 XLM-R에 적용되며, 병렬 데이터나 이중어 사전이 필요 없이 오직 영어 자원에 의존한다.

실험 결과

연구 질문

• RQ1 병렬 코퍼스나 이중어 사전에 의존하지 않고 제로샷 다국어 번역 학습을 향상시킬 수 있는가?
• RQ2 다국어 모델에서 언어 간 임베딩 클러스터 간격을 어떻게 줄여 이동 가능성(transferability)을 향상시킬 수 있는가?
• RQ3 동의어 증강과 강건한 영역 학습이 저자원 환경에서 다국어 정렬을 얼마나 향상시킬 수 있는가?
• RQ4 다른 언어 클러스터 쪽으로 임베딩을 밀고, 주의 패턴을 끌어당기는 것이 다국어 성능을 향상시키는가?
• RQ5 단일 소스(영어) 기반 방법이 언어별 튜닝 없이 다양한 언어에 효과적으로 일반화될 수 있는가?

주요 결과

• 제안된 방법은 XNLI 제로샷 다국어 텍스트 분류 벤치마크에서 기존 방법을 능가하는 최고 성능을 달성했으며, mBERT와 XLM-R 모두에서 승리했다.
• 영어 데이터만으로도 mBERT에서 평균 XNLI 정확도를 68.4로 향상시켜 기준 모델 및 이전 방법보다 뚜렷한 성능 향상을 보였다.
• T-SNE 시각화 결과 EPT가 동의어를 원래 위치에서 분리하면서도 의미적 구조를 유지함을 확인했다.
• Attention-Pull은 영어 유사 언어에 편향되는 문장 표현 끌어당림(SRPT)보다 성능이 뛰어나, 이질적인 언어로의 이동을 향상시켰다.
• 동의어 사전 크기 변화에 대해 강건성을 보였지만, 사전 크기를 원래 크기의 25%로 줄였을 경우 성능 저하가 발생했다.
• 독일어나 러시아어를 추가로 영어 외의 소스 언어로 사용할 경우 성능 향상이 더 커져, 다양한 고자원 언어 입력이 이 방법에 유리함을 시사한다.