[논문 리뷰] UXLA: A Robust Unsupervised Data Augmentation Framework for Zero-Resource Cross-Lingual NLP

M Saiful Bari, Tasnim Mohiuddin외 1명|arXiv (Cornell University)|2020. 04. 27.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

UXLA는 다국어 마스크된 언어 모델을 사용하여 데이터 증강과 비지도 샘플 선택을 동시에 수행하는 새로운 비지도 데이터 증강 프레임워크로, 제로 리소스 다국어 번역 전이 성능을 향상시킨다. 세 가지 작업(XNER, XNLI, PAWS-X)에서 최고 성능을 기록하며, 특히 구조가 다름과 자원이 부족한 언어인 우르두어(+28.54% F1)와 버마어에 대해 뚜렷한 향상을 보였다.

ABSTRACT

Transfer learning has yielded state-of-the-art (SoTA) results in many supervised NLP tasks. However, annotated data for every target task in every target language is rare, especially for low-resource languages. We propose UXLA, a novel unsupervised data augmentation framework for zero-resource transfer learning scenarios. In particular, UXLA aims to solve cross-lingual adaptation problems from a source language task distribution to an unknown target language task distribution, assuming no training label in the target language. At its core, UXLA performs simultaneous self-training with data augmentation and unsupervised sample selection. To show its effectiveness, we conduct extensive experiments on three diverse zero-resource cross-lingual transfer tasks. UXLA achieves SoTA results in all the tasks, outperforming the baselines by a good margin. With an in-depth framework dissection, we demonstrate the cumulative contributions of different components to its success.

연구 동기 및 목표

• 자원이 부족하고 구조가 다름과 같은 언어에서 레이블이 부족하고 원천 언어와 목표 언어 간의 구조적 유사성이 부족한 문제로 인해 다국어 번역 성능이 떨어지는 문제를 해결한다.
• 기존의 자연어 처리 분야의 데이터 증강 방법은 레이블이 있는 데이터나 병렬 코퍼스에 의존하는 경우가 많아 비지도, 제로 리소스 환경에서는 실패하는 한계를 극복한다.
• 목표 언어에서 레이블이 전혀 필요 없이도 다국어 모델의 일반화 능력을 향상시킬 수 있는 견고한 비지도 프레임워크를 개발한다.
• 동시에 자기 학습, 가상 데이터 생성, 신뢰도 인식 디스틸레이션 전략을 통해 효과적인 다국어 간 적응을 가능하게 한다.
• 다양한 작업과 언어 쌍에 걸쳐 프레임워크의 효과성을 입증하며, 특히 자원이 부족하고 구조가 다름과 같은 언어에서도 성능을 발휘한다.

제안 방법

• 다국어 마스크된 언어 모델을 사용하여 원천 언어 및 목표 언어 문장을 변형함으로써 가상의 훈련 샘플을 생성하고, 각 입력 주변에 근접 분포를 형성한다.
• 두 단계의 공동 디스틸레이션 프로세스를 통해 다국어 동시 공학습을 수행함으로써, 가짜 레이블이 부여된 목표 언어 데이터에 대한 모델의 견고성과 레이블 신뢰도를 향상시킨다.
• 가짜 레이블에 대한 과도한 확신을 줄이고 일반화 능력을 향상시키기 위해 훈련 중에 신뢰도 페널티를 적용한다. 특히 자원이 부족한 환경에서 유의미한 성능 향상을 기대할 수 있다.
• 저품질의 가짜 레이블 예측을 걸러내기 위해 비지도 샘플 선택 기법을 적용하여, 훈련에 사용되는 것은 고신뢰도 예측에 한정한다.
• 가상 데이터 생성과 레이블 예측에 모두 사전 학습된 다국어 마스크된 언어 모델(XLM-R 등)을 백본으로 사용하며, 언어 모델 자체는 미세조정하지 않는다.
• 데이터 증강과 자기 학습을 통합된 프레임워크로 통합하여, 증강된 데이터 생성과 디스틸레이션을 통한 모델 예측 개선을 번갈아 수행한다.

실험 결과

연구 질문

• RQ1 레이블이 전혀 없는 목표 언어에서 비지도 데이터 증강이 제로 리소스 환경에서 다국어 번역 성능을 향상시킬 수 있는가?
• RQ2 제안된 프레임워크는 기존 베이스라인 대비 자원이 부족하고 구조가 다름과 같은 언어에서 어떻게 성능을 내는가?
• RQ3 가상 데이터 생성, 공동 디스틸레이션, 신뢰도 정규화의 조합이 견고성과 성능 향상에 얼마나 기여하는가?
• RQ4 프레임워크는 작업 특화 조정 없이도 다양한 작업과 언어 쌍에 걸쳐 일반화 가능한가? 특히 목표 언어에서 레이블이 필요 없는가?
• RQ5 목표 언어로 적응한 후 원천 언어에서의 성능가 유지되며, 치명적인 잊힘 현상이 발생하지 않는가?

주요 결과

• UXLA는 테스트된 모든 제로 리소스 다국어 번역 NER(XNER) 작업에서 최고 성능을 기록했으며, 기존 베이스라인 대비 우르두어(+28.54% F1), 버마어(+16.05% F1), 아랍어(+9.25% F1)에서 절대적인 F1 향상을 보였다.
• XNLI 작업에서는 원천 언어에서 레이블이 5%만 존재하는 UXLA가 레이블이 100% 존재하는 기존 베이스라인과 유사한 성능을 기록했다.
• PAWS-X에서는 레이블이 5%인 UXLA가 전체 데이터를 사용한 베이스라인과 동일한 성능을 보였으며, 이는 높은 데이터 효율성을 보여주었다.
• 신뢰도 페널티 구성 요소는 다양한 작업에서 0.56%에서 1.89%까지 성능 향상을 이끌었으며, 특히 자원이 부족한 환경에서 가장 큰 성과를 보였다.
• 프레임워크는 높은 견고성을 보였으며, 한 목표 언어로 미세조정한 모델은 원천 언어에서 높은 성능 유지를 유지했고, 다른 언어로 적응할 경우 성능이 향상되는 경향을 보였다.
• UXLA를 사용해 훈련한 모델의 앙상블은 성능을 추가로 향상시켰으며, 이는 성능 향상 요인이 앙상블 효과가 아니라 핵심 프레임워크 설계에 기인함을 확인시켰다.