[논문 리뷰] Transfer Learning and Distant Supervision for Multilingual Transformer Models: A Study on African Languages

Michael A. Hedderich, David Ifeoluwa Adelani외 4명|arXiv (Cornell University)|2020. 10. 07.

Natural Language Processing Techniques참고 문헌 45인용 수 49

한 줄 요약

이 논문은 세 가지 아프리카 언어(Hausa, isiXhosa, Yorùbá)에서 NER 및 뉴스 주제 분류를 위한 다국어 트랜스포머 모델(mBERT 및 XLM-RoBERTa)의 전이 학습과 원격 감독을 연구하며, 매우 작은 라벨 데이터 세트로도 현실적인 저자원 설정에서 경쟁력 있는 성능을 달성할 수 있음을 보여주고, 주의점이 있다.

ABSTRACT

Multilingual transformer models like mBERT and XLM-RoBERTa have obtained great improvements for many NLP tasks on a variety of languages. However, recent works also showed that results from high-resource languages could not be easily transferred to realistic, low-resource scenarios. In this work, we study trends in performance for different amounts of available resources for the three African languages Hausa, isiXhosa and Yor\\`ub\\'a on both NER and topic classification. We show that in combination with transfer learning or distant supervision, these models can achieve with as little as 10 or 100 labeled sentences the same performance as baselines with much more supervised training data. However, we also find settings where this does not hold. Our discussions and additional experiments on assumptions such as time and hardware restrictions highlight challenges and opportunities in low-resource learning.

연구 동기 및 목표

• 현실적인 저자원 아프리카 언어에서 다국어 트랜스포머의 평가를 촉진한다.
• NER 및 주제 분류를 위한 하이-resource 언어에서 Hausa, isiXhosa, Yorùbá로의 전이 학습을 평가한다.
• 저자원 환경에서 수작업 라벨링의 대안 또는 보완으로 원격 감독을 평가한다.
• 저자원 NLP에서 개발 세트, 하드웨어, 주석 노력이 필요한 실질적 고려사항을 조사한다.
• 향후 저자원 다국어 NLP 연구를 안내할 공개 데이터 세트와 통찰을 제공한다.

제안 방법

• 하우사어, isiXhosa, Yorùbá 간 NER 및 주제 분류에서 mBERT 및 XLM-RoBERTa를 평가한다.
• 언어 모델 사전 학습을 활용한 전통적 RNN 기반 baselines(GRU, LSTM-CNN-CRF, RCNN)과 비교한다.
• 고자원 영어 태스크(CoNLL03 NER, AG News)에서 미세 조정해 대상 언어로 제로샷 또는 소수샷 전이를 평가하는 전이 학습을 연구한다.
• Wikidata 엔티티 목록과 언어별 휴리스틱에 기반한 NER 및 주제 레이블에 대한 원격 감독 규칙을 생성하고 평가한다.
• 레이블 노이즈 처리 및 원격 감독과 노이즈 강건 학습의 결합이 미치는 영향을 조사한다.
• 저개발 세트, 하드웨어 제약, 주석 시간 등 저자원 시나리오에서의 개발 세트와 주석 시간 같은 실용적 고려사항을 논의한다.

실험 결과

연구 질문

• RQ1 더 복잡한 트랜스포머 모델이 저자원 아프리카 언어에서 확립된 RNN과 비교해 어떤 차이를 보이는가?
• RQ2 고자원 언어에서 Hausa, isiXhosa, Yorùbá로의 전이가 NER 및 주제 분류에 얼마나 효과적인가?
• RQ3 원격 감독이 이들 저자원 언어에서 트랜스포머 모델과 함께 사용될 때 이점이 있는가?
• RQ4 현실적인 가정(개발 세트, 하드웨어, 주석 시간)이 실제 다국어 저자원 NLP에 어떤 영향을 미치는가?

주요 결과

• 저자원 설정에서 Hausa와 Yorùbá의 NER 및 isiXhosa의 NER에서 트랜스포머가 RNN 기반 기준값보다 종종 더 우수하며, 특정 경우 CRF가 여전히 경쟁력 있다.
• 영어에서의 전이 학습은 상당한 이점을 가져올 수 있으며, NER의 경우 대상 문장 중 최소 10개 라벨링으로도 공유 레이블 집합에서 F1 점수를 최소 10점 이상 상승시킬 수 있다.
• 원격 감독은 데이터가 극도로 부족할 때 유용한 이점을 제공하며, 예를 들어 Yorùbá NER에서 100개의 라벨링 문장이 400개의 수작업 라벨링 문장과 맞먹는 수준까지 노이즈 처리 설정에서 성능을 확보할 수 있다.
• 원격 감독만으로는 테스트 세트에서 다소 제한된 F1을 보이며(예: Hausa NER 54%, Yorùbá NER 62%; 주제 분류 49% Hausa, 55% Yorùbá), 그 이점은 레이블 노이즈 처리 및 사용 가능한 수작업 데이터에 따라 달라진다.
• 하드웨어 및 모델 크기가 결과에 영향을 주며, DistilBERT가 일부 경우 유사한 성능을 보이지만 NER의 경우 예제가 매우 적을 때 성능 저하가 발생한다.
• 실용적 주석 시간 고려사항은 원격 감독과 규칙 기반 라벨링이 실행 가능하나 수작업 라벨링 노력에 비해 신중한 평가가 필요하다.