[논문 리뷰] Cross-lingual Offensive Language Identification for Low Resource Languages: The Case of Marathi

Saurabh Gaikwad, Tharindu Ranasinghe외 2명|Aston Publications Explorer (Aston University)|2021. 09. 08.

Hate Speech and Cyberbullying Detection참고 문헌 40인용 수 4

한 줄 요약

이 논문은 마라티어, 즉 저자원 인도·아리안어계 언어인 마라티어를 위한 공격적 언어 식별 데이터셋인 MOLD를 소개한다. XLM-RoBERTa를 사용한 다국어 전이 학습을 통해, 영어 기반 전이 학습보다 유사 언어인 히누디어 및 벤갈리어 기반 전이 학습이 성능을 크게 향상시킨다는 것을 입증하였다. 특히, 히누디어 기반 전이 학습에서는 전이 학습 설정에서 매크로 F1이 0.9401, 제로샷 설정에서 0.8396을 기록하였다.

ABSTRACT

The widespread presence of offensive language on social media motivated the development of systems capable of recognizing such content automatically. Apart from a few notable exceptions, most research on automatic offensive language identification has dealt with English. To address this shortcoming, we introduce MOLD, the Marathi Offensive Language Dataset. MOLD is the first dataset of its kind compiled for Marathi, thus opening a new domain for research in low-resource Indo-Aryan languages. We present results from several machine learning experiments on this dataset, including zero-short and other transfer learning experiments on state-of-the-art cross-lingual transformers from existing data in Bengali, English, and Hindi.

연구 동기 및 목표

• 저자원 인도·아리안어계 언어, 특히 마라티어를 대상으로 한 공격적 언어 식별 자원의 부족을 해결한다.
• 공격적 언어 식별을 위한 약 2,500개의 마라티어 트윗을 포함한 최초의 주석 처리된 데이터셋인 MOLD를 개발하고 공개한다.
• 다국어 트랜스포머(XLM-R)를 활용한 다국어 전이 학습의 효과성을 조사한다.
• 언어 유사성의 영향을 다국어 전이 학습 성능에 미치는 영향을 분석하며, 영어, 히누디어, 벤갈리어를 원천 언어로 비교한다.
• 재현 가능성과 저자원 공격적 언어 식별 분야의 향후 연구를 지원하기 위해 오픈소스 모델과 코드를 제공한다.

제안 방법

• 공격적 언어를 식별하기 위해 2,500개의 마라티어 트윗을 수집하고 수동 주석 처리하여 MOLD 데이터셋을 구축하였다.
• MOLD 데이터셋을 기반으로 단일 언어 모델(SVM, LSTM)을 훈련하고, XLM-RoBERTa를 미세조정하여 공격적 언어 분류를 수행하였다.
• 영어(OLID, SOLID), 히누디어(HASOC), 벤갈리어(TRAC) 데이터셋에서 사전 훈련된 가중치를 사용하여 XLM-R 모델을 초기화함으로써 전이 학습을 적용하였다.
• 미세조정 없이 다른 언어에서 훈련된 모델을 마라티어 테스트 세트에 직접 적용하여 제로샷 추론을 수행하였다.
• 마라티어 데이터셋의 증가하는 부분집합(100~4,000개 인스턴스)에서 모델을 미세조정함으로써 소수의 학습(experiment)을 수행하였다.
• 다양한 전이 학습 및 제로샷 설정에서 매크로 F1 및 가중 평균 F1 스코어를 사용하여 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 RQ1: 저자원 환경에서 공격적 언어 식별을 위한 단일 언어 모델과 다국어 전이 학습 모델의 성능에 영향을 미치는 데이터셋 크기의 영향은 무엇인가?
• RQ2 RQ2: 언어 유사성이 다국어 전이 학습 성능에 미치는 영향은 어떠한가?
• RQ3 RQ3: 영어, 히누디어, 벤갈리어 기반 전이 학습 전략이 마라티어에서 공격적 콘텐츠를 예측하는 데 어떻게 비교되는가?
• RQ4 RQ4: 원천 훈련 데이터의 크기가 일정 수준 이상을 초과하면 전이 학습 성능 향상에 대해 수익 감소 현상이 발생하는가?

주요 결과

• 히누디어 기반 전이 학습이 마라티어 테스트 세트에서 매크로 F1 스코어 0.9401을 기록하며, 다른 모든 원천 언어 및 단일 언어 기반 기준선보다 뛰어난 성능을 보였다.
• 히누디어 기반 전이 학습은 제로샷 설정에서도 매크로 F1 0.8396을 기록하여 언어 유사성의 이점이 뚜렷하게 드러났다.
• 8배 이상 큰 EN-SOLID 데이터셋은 매크로 F1 0.9321을 기록했지만, 더 작은 히누디어 데이터셋(0.9401)보다 성능이 떨어졌으며, 이는 언어 유사성이 데이터셋 크기보다 더 중요한 요소임을 시사한다.
• 소수의 학습 실험 결과, 히누디어 기반 전이 학습이 모든 샷 설정에서 다른 언어보다 뚜렷하게 뛰어난 성능을 보였으며, 언어적 유사성의 이점이 뒷받침됨을 확인하였다.
• OLID과 SOLID에서의 전이 학습 성능 격차는 미미했으며, 이는 일정 수준 이상의 데이터가 확보되면 추가 데이터가 성능 향상에 크게 기여하지 않는다는 것을 시사한다.
• 결과적으로, 영어와 같은 거리가 먼 언어보다는 히누디어와 같은 유사 언어에서의 다국어 전이 학습이, 더 큰 훈련 데이터셋을 가진 영어 기반 전이 학습보다도 더 효과적임을 입증하였다.