[논문 리뷰] BERTifying Sinhala -- A Comprehensive Analysis of Pre-trained Language Models for Sinhala Text Classification

Vinura Dhananjaya, Piyumal Demotte외 2명|arXiv (Cornell University)|2022. 08. 16.

Natural Language Processing Techniques인용 수 7

한 줄 요약

이 논문은 스리랑카어 텍스트 분류를 위한 사전 훈련된 언어 모델에 대한 종합적인 평가를 제시하며, 더 큰 코퍼스로 훈련된 두 개의 새로운 RoBERTa 기반 단일언어 스리랑카어 모델(SinBERT-small 및 SinBERT-large)을 소개한다. 결과적으로 XLM-R-large가 강력한 베이스라인으로서 모든 모델을 앞서지만, 특히 제한된 레이블 데이터를 가질 경우 SinBERT 모델이 XLM-R-base를 능가하며, 네 가지 스리랑카어 텍스트 분류 작업에 대해 새로운 최고의 베이스라인을 수립한다.

ABSTRACT

This research provides the first comprehensive analysis of the performance of pre-trained language models for Sinhala text classification. We test on a set of different Sinhala text classification tasks and our analysis shows that out of the pre-trained multilingual models that include Sinhala (XLM-R, LaBSE, and LASER), XLM-R is the best model by far for Sinhala text classification. We also pre-train two RoBERTa-based monolingual Sinhala models, which are far superior to the existing pre-trained language models for Sinhala. We show that when fine-tuned, these pre-trained language models set a very strong baseline for Sinhala text classification and are robust in situations where labeled data is insufficient for fine-tuning. We further provide a set of recommendations for using pre-trained models for Sinhala text classification. We also introduce new annotated datasets useful for future research in Sinhala text classification and publicly release our pre-trained models.

연구 동기 및 목표

• 기존 다국어 사전 훈련된 모델(XLM-R, LaBSE, LASER)과 새로 훈련된 단일언어 모델이 스리랑카어 텍스트 분류에서 성능을 평가하는 것.
• 저자원 스리랑카어(클래스 1 언어)에 대한 사전 훈련된 모델의 경험적 평가 부족 문제를 해결하는 것.
• 세부 훈련된 사전 훈련된 모델을 사용하여 스리랑카어 텍스트 분류를 위한 강력하고 공개 가능한 기준을 설정하는 것.
• 미래의 스리랑카어 NLP 연구를 지원하기 위해 새로운 주석이 달린 데이터셋과 사전 훈련된 모델을 공개하는 것.

제안 방법

• 이전 모델보다 더 큰 스리랑카어 코퍼스를 기반으로 두 개의 RoBERTa 기반 단일언어 스리랑카어 언어 모델(SinBERT-small 및 SinBERT-large)을 훈련한 것.
• 감성 분석, 뉴스 소스 분류, 뉴스 카테고리 분류, 글 스타일 분류의 네 가지 텍스트 분류 작업에서 성능을 평가한 것.
• 다양한 크기의 레이블 데이터셋에 대해 사전 훈련된 모델을 미세조정하여 자원 부족 상황에서의 강건성 평가를 수행한 것.
• 모든 작업에서 단일언어 모델(SinBERT)과 다국어 모델(XLM-R, LaBSE, LASER) 간의 성능을 비교한 것.
• 주요 평가 지표로 매크로-F1 점수를 사용하고, 다양한 데이터셋 크기에서의 모델 행동을 분석한 것.
• Hugging Face 및 Hugging Face Datasets 를 통해 사전 훈련된 모델, 미세조정된 모델, 주석이 달린 데이터셋, 훈련 코드를 공개한 것.

실험 결과

연구 질문

• RQ1 스리랑카어를 포함하는 다국어 모델 중에서 스리랑카어 텍스트 분류에서 가장 우수한 성능을 보이는 사전 훈련된 언어 모델은 무엇인가요?
• RQ2 최근에 사전 훈련된 단일언어 스리랑카어 모델은 기존의 다국어 및 단일언어 모델과 비교해 스리랑카어 텍스트 분류 작업에서 어떤 성능을 보였나요?
• RQ3 스리랑카어 텍스트 분류에서 레이블이 달린 미세조정 데이터의 크기가 달라질 경우 모델 성능은 어떻게 변하나요?
• RQ4 레이블 데이터가 부족할 경우 단일언어 스리랑카어 모델이 다국어 모델을 능가할 수 있나요?
• RQ5 스리랑카어 텍스트 분류에 있어 가장 효과적인 모델 구성과 하이퍼파라미터는 무엇인가요?

주요 결과

• XLM-R-large는 감성 분석 작업에서 매크로-F1 점수 68.1을 기록하여 새로운 강력한 기준을 설정했다.
• SinBERT-small는 작은 데이터셋에 대해 미세조정된 결과, 감성 분석에서 매크로-F1 53.85를 기록하며 XLM-R-base를 능가했다.
• SinBERT-large는 글 스타일 분류 작업에서 매크로-F1 95.49를 기록하여 모든 다른 모델을 능가했다.
• XLM-R-large 모델은 네 가지 작업 전반에서 모든 다른 모델을 일관되게 능가하여 새로운 최고의 기준을 설정했다.
• 매우 작은 레이블 데이터셋을 가진 경우, SinBERT-small 및 SinBERT-large는 XLM-R-base를 크게 능가하여 더 뛰어난 데이터 효율성을 보였다.
• 최근 공개된 스리랑카어 뉴스 소스 분류, 뉴스 카테고리 분류, 글 스타일 분류 데이터셋은 향후 연구를 위해 공개 가능하다.