[논문 리뷰] MultiMix: A Robust Data Augmentation Strategy for Cross-Lingual NLP.

Mehwish Bari, Muhammad Tasnim Mohiuddin외 1명|arXiv (Cornell University)|2020. 04. 28.

Topic Modeling참고 문헌 29인용 수 11

한 줄 요약

MultiMix는 자동 학습과 비지도 샘플 선택을 조합하여 저자원 대상 언어에서의 성능을 향상시키는 강력한 데이터 증강 전략을 제안한다. 이는 대상 언어에서 레이블이 없는 조건에서도 다국어 명명된 엔터티 인식 및 자연어 추론 작업에서 뚜렷한 성능 향상을 이룬다.

ABSTRACT

Transfer learning has yielded state-of-the-art results in many supervised natural language processing tasks. However, annotated data for every target task in every target language is rare, especially for low-resource languages. In this work, we propose MultiMix, a novel data augmentation method for semi-supervised learning in zero-shot transfer learning scenarios. In particular, MultiMix targets to solve cross-lingual adaptation problems from a source (language) distribution to an unknown target (language) distribution assuming it has no training labels in the target language task. In its heart, MultiMix performs simultaneous self-training with data augmentation and unsupervised sample selection. To show its effectiveness, we have performed extensive experiments on zero-shot transfers for cross-lingual named entity recognition (XNER) and natural language inference (XNLI). Our experiments show sizeable improvements in both tasks outperforming the baselines by a good margin.

연구 동기 및 목표

• 저자원 대상 언어에서의 애너테이션 데이터 부족 문제를 해결하기 위해.
• 원천 언어에서 알려지지 않은 대상 언어 분포로의 제로샷 전이 성능을 향상시키기 위해.
• 레이블이 없는 타겟 데이터에 의존하지 않고 모델의 일반화 능력을 향상시키는 데이터 증강 방법을 개발하기 위해.
• 자기 학습과 비지도 샘플 선택을 통합하여 강력한 다국어 적응을 위한 통합 프레임워크를 구축하기 위해.

제안 방법

• MultiMix는 원천 언어와 대상 언어 샘플의 혼합 표현을 사용하여 동시에 자동 학습과 데이터 증강을 수행한다.
• 다른 언어의 입력 시퀀스를 조합하여 증강된 학습 예제를 생성하기 위해 학습 가능한 혼합 전략을 적용한다.
• 학습 중에 낮은 신뢰도 또는 노이즈가 많은 예측을 걸러내기 위해 비지도 샘플 선택 메커니즘을 통합한다.
• 모델의 신뢰도 점수를 활용하여 대상 언어 분포에서 고품질의 가짜 레이블이 부여된 샘플을 동적으로 선택한다.
• 대조 손실을 사용하여 원천 및 대상 표현을 정렬하면서도 언어 다양성을 유지하는 방식으로 엔드 투 엔드로 프레임워크를 훈련한다.
• 반복적으로 적용되어 여러 훈련 에포크 동안 예측과 증강을 개선한다.

실험 결과

연구 질문

• RQ1 자기 학습과 결합된 데이터 증강이 제로샷 다국어 전이 성능을 향상시키는가?
• RQ2 MultiMix는 원천 언어와 대상 언어 분포 간의 도메인 이탈을 얼마나 효과적으로 줄이는가?
• RQ3 비지도 샘플 선택은 저자원 대상 언어에서 모델의 강건성을 향상시키는가?
• RQ4 MultiMix는 기존의 데이터 증강 및 자기 학습 베이스라인에 비해 다국어 NLP 작업에서 얼마나 뛰어난 성능을 보이는가?

주요 결과

• MultiMix는 강력한 베이스라인에 비해 다국어 명명된 엔터티 인식(XNER)에서 뚜렷한 성능 향상을 달성한다.
• 다양한 언어 전이 설정에서 자연어 추론(XNLI) 작업에서도 일관된 성능 향상을 보인다.
• 제로샷 다국어 적응에서 기존의 데이터 증강 및 자기 학습 접근 방식을 능가한다.
• 비지도 샘플 선택 통합이 알려지지 않은 대상 언어에서 모델의 일반화 능력을 크게 향상시킨다.
• 대상 언어에 레이블이 전혀 없는 경우에도 모델이 강건한 성능을 유지한다.