[논문 리뷰] MultiMix: A Robust Data Augmentation Framework for Cross-Lingual NLP

Mehwish Bari, Tasnim Mohiuddin외 1명|arXiv (Cornell University)|2020. 04. 28.

Topic Modeling참고 문헌 44인용 수 13

한 줄 요약

MultiMix는 동시에 자기학습, 데이터 증강, 비지도 샘플 선택을 결합함으로써 라벨이 없는 타겟 언어 데이터가 없더라도 자율학습 기반의 자원이 없는 다국어 간 전이 학습을 가능하게 하는 자율학습 기반 데이터 증강 프레임워크이다. 이는 타겟 언어 데이터가 전혀 필요 없이 자원이 없는 다국어 간 명명된 실체 인식 및 자연어 추론 작업에서 최고 성능을 달성한다.

ABSTRACT

Transfer learning has yielded state-of-the-art (SoTA) results in many supervised natural language processing tasks. However, annotated data for every target task in every target language is rare, especially for low-resource languages. We propose MultiMix, a novel data augmentation framework for self-supervised learning in zero-resource transfer learning scenarios. In particular, MultiMix targets to solve cross-lingual adaptation problems from a source language distribution to an unknown target language distribution, assuming no training labels are available for the target language task. At its core, MultiMix performs simultaneous self-training with data augmentation and unsupervised sample selection. To show its effectiveness, we conduct extensive experiments on zero-resource cross-lingual transfer tasks for Named Entity Recognition and Natural Language Inference. MultiMix achieves SoTA results in both tasks, outperforming the baselines by a good margin. With an in-depth model dissection, we demonstrate the cumulative contributions of different components to MultiMix's success.

연구 동기 및 목표

• 자원이 부족한 다국어 간 자연어 처리 작업에서 레이블이 부족한 문제를 해결하기 위해.
• 타겟 언어에 레이블이 전혀 없는 상태에서 소스 언어에서 알려지지 않은 타겟 언어로 효과적인 전이 학습을 가능하게 하기 위해.
• 다국어 자율학습 학습에서 일반화 성능을 향상시키는 견고한 데이터 증강 프레임워크를 개발하기 위해.
• 동시에 자기학습과 비지도 샘플 필터링을 통해 모델 학습과 데이터 선택을 최적화하기 위해.

제안 방법

• MultiMix는 데이터 증강과 함께 공동 자기학습을 수행하며, 소스 언어 분포의 샘플을 혼합하여 합성 학습 예제를 생성한다.
• 증강 과정에서 언어 간 의미적·구문적 구조를 유지하는 다국어 데이터 혼합 전략을 적용한다.
• 저품질 또는 노이즈가 많은 증강 샘플을 제거하기 위해 학습 루프에 비지도 샘플 선택을 통합한다.
• 모델 업데이트를 위해 자율학습 목표를 활용하면서 동시에 고신뢰도 예측을 동적으로 선택하여 학습에 활용한다.
• 증강 데이터에서의 학습 과정에서의 강건성을 확보하기 위해 일관성 정규화 메커니즘을 사용한다.
• 모델은 타겟 언어에 레이블 예제가 전혀 필요 없는 자원이 없는 설정에서 작동한다.

실험 결과

연구 질문

• RQ1 데이터 증강과 비지도 샘플 선택이 함께 자원이 없는 다국어 간 전이 성능을 향상시킬 수 있는가?
• RQ2 MultiMix는 자원이 없는 다국어 간 명명된 실체 인식 및 자연어 추론 작업에서 기존 베이스라인과 비교해 어떻게 성능을 내는가?
• RQ3 각 구성요소인 데이터 혼합, 자기학습, 샘플 선택이 전체 성능 향상에 기여하는 정도는 어떠한가?
• RQ4 MultiMix는 다양한 자원이 부족한 언어 쌍 간의 다국어 전이에 일반화되는가?
• RQ5 타겟 언어 데이터 부족 수준이 다양할 경우 MultiMix의 성능은 얼마나 견고한가?

주요 결과

• MultiMix는 자원이 없는 다국어 간 명명된 실체 인식 작업에서 최고 성능을 달성하며, 기존 베이스라인을 능가한다.
• 자원이 없는 다국어 간 자연어 추론 작업에서도 최고 성능을 달성하여 다양한 언어 쌍 간에 강력한 일반화 성능을 보여준다.
• 제거 실험을 통해 데이터 증강과 비지도 샘플 선택이 모델 성공에 누적적으로 기여한다는 것이 확인된다.
• 다양한 자원이 부족한 언어 전이 설정에서 일관된 성능 향상이 나타난다.
• 타겟 언어에 레이블 데이터가 전혀 없을 때도 모델 성능이 견고하다.