[논문 리뷰] Establishing Baselines for Text Classification in Low-Resource Languages

Jan Christian Blaise Cruz, Charibeth Cheng|arXiv (Cornell University)|2020. 05. 05.

Topic Modeling참고 문헌 19인용 수 32

한 줄 요약

이 논문은 필리핀어 텍스트 분류 벤치마크, 사전 학습된 필리핀 BERT/DistilBERT 모델, 및 저데이터 환경에서 모델 강건성을 평가하는 저하(degradation) 테스트를 공개한다.

ABSTRACT

While transformer-based finetuning techniques have proven effective in tasks that involve low-resource, low-data environments, a lack of properly established baselines and benchmark datasets make it hard to compare different approaches that are aimed at tackling the low-resource setting. In this work, we provide three contributions. First, we introduce two previously unreleased datasets as benchmark datasets for text classification and low-resource multilabel text classification for the low-resource language Filipino. Second, we pretrain better BERT and DistilBERT models for use within the Filipino setting. Third, we introduce a simple degradation test that benchmarks a model's resistance to performance degradation as the number of training samples are reduced. We analyze our pretrained model's degradation speeds and look towards the use of this method for comparing models aimed at operating within the low-resource setting. We release all our models and datasets for the research community to use.

연구 동기 및 목표

• 필리핀어 텍스트 분류 및 저자원 다중레이블 분류를 위한 표준 벤치마크 데이터셋을 제공합니다.
• 512 입력 길이로 더 강력한 필리핀어 BERT 모델을 사전 학습하고 자원 제약 환경에서 사용할 DistilBERT를 공개합니다.
• 저자원 조건을 시뮬레이션하기 위해 학습 데이터가 축소될 때 모델 성능을 측정하는 저하 테스트를 도입합니다.

제안 방법

• 링크, 멘션, 해시태그에 대한 표준화된 토크나이제이션 및 특수 토큰으로 트윗을 전처리합니다.
• WikiText-TL-39에서 512 최대 시퀀스 길이와 30k 어휘를 사용하고 WordPiece로 표본화하여 Filipino Tagalog BERT 모델(cased/uncased, standard/whole-word masking)을 사전 학습합니다.
• 최고의 BERT 교사를 사용하여 세 에폭의 증류(distillation)로 더 작은 DistilBERT 모델을 증류합니다.
• 표준 하이퍼파라미터와 5-fold 교차 검증을 사용하여 두 개의 필리핀어 데이터셋(Hate Speech binary in Filipino 및 Dengue multilabel)에 대해 BERT와 DistilBERT를 미세조정합니다.
• Hate Speech에 대해서는 정확도, Dengue에 대해서는 Hamming Loss를 사용하여 평가합니다.

실험 결과

연구 질문

• RQ1 저자원 NLP 방법의 공정한 비교를 가능하게 하는 필리핀어 텍스트 분류 벤치마크를 확립할 수 있는가?
• RQ2 사전 학습된 Filipino BERT 및 DistilBERT 모델이 필리핀어의 이진 혐오발언 및 다중 클래스/다중레이블 작업에서 어떻게 성능을 보이는가?
• RQ3 저하 테스트를 통해 측정한 데이터 부족에 대한 이 모델들의 회복력은 무엇인가?
• RQ4 더 긴 입력 길이와 전체 단어 마스킹이 필리핀어 NLP 작업에서 성능을 향상시키는가?
• RQ5 저자원 환경에서 모델 증류가 성능에 어떤 영향을 미치는가?

주요 결과

• 사전 학습된 Filipino BERT 모델(512 max sequence)은 Hate Speech 및 Dengue 데이터셋에서 경쟁력 있는 파인튜닝 결과를 달성한다.
• DistilBERT는 일반적으로 데이터 축소 조건에서 더 큰 BERT 모델보다 더 빨리 성능 저하를 보인다.
• Whole-word masking 모델은 non-whole-word masking 모델에 비해 저하가 약간 느리게 나타난다.
• 저하 테스트는 매우 적은 데이터(1k 샘플)에서 주로 상당한 성능 저하를 보여주고, 5k 샘플에서의 저하는 더 작다.
• 증류는 저자원 시나리오에서 전체 크기의 BERT에 비해 성능은 다소 감소하나 사용 가능한 작은 모델을 생성한다.