[논문 리뷰] A Twitter BERT Approach for Offensive Language Detection in Marathi

Tanmay Chavan, Shantanu Patankar외 3명|arXiv (Cornell University)|2022. 12. 20.

Hate Speech and Cyberbullying Detection인용 수 8

한 줄 요약

이 논문은 마라티어 트위터 텍스트에 특화된 사전 훈련된 MahaTweetBERT 모델을 제안하며, HASOC 2021 및 L3Cube-MahaHate에서 유래한 데이터 증강 기법을 활용하여 마라티어에서의 공격적 언어 탐지에 적용한다. 이 모델은 HASOC 2022 테스트 세트에서 98.43의 새로운 최고 성능 F1 스코어를 기록하여, 자원이 적은 환경에서 마라티어 소셜미디어 공격적 언어 탐지에 있어 마라티어 트위터 BERT 모델이 일반 다국어 및 혐오성 데이터에 특화된 BERT보다 뛰어난 성능을 보임을 입증한다.

ABSTRACT

Automated offensive language detection is essential in combating the spread of hate speech, particularly in social media. This paper describes our work on Offensive Language Identification in low resource Indic language Marathi. The problem is formulated as a text classification task to identify a tweet as offensive or non-offensive. We evaluate different mono-lingual and multi-lingual BERT models on this classification task, focusing on BERT models pre-trained with social media datasets. We compare the performance of MuRIL, MahaTweetBERT, MahaTweetBERT-Hateful, and MahaBERT on the HASOC 2022 test set. We also explore external data augmentation from other existing Marathi hate speech corpus HASOC 2021 and L3Cube-MahaHate. The MahaTweetBERT, a BERT model, pre-trained on Marathi tweets when fine-tuned on the combined dataset (HASOC 2021 + HASOC 2022 + MahaHate), outperforms all models with an F1 score of 98.43 on the HASOC 2022 test set. With this, we also provide a new state-of-the-art result on HASOC 2022 / MOLD v2 test set.

연구 동기 및 목표

• 자원이 적은 인디크 언어, 특히 마라티어에서 사회적 미디어 혐오 발언이 정신 건강과 사회적 조화를 해칠 수 있는 문제를 해결하기 위해.
• 마라티어 소셜미디어 텍스트에 사전 훈련된 단일 언어 및 다국어 BERT 모델의 효과성을 평가하여 공격적 언어 식별에 활용할 수 있는지 확인하기 위해.
• 혼자서 혐오성 콘텐츠에만 사전 훈련된 모델이 혼합된 마라티어 트윗 코퍼스에 사전 훈련된 모델보다 성능이 뛰어나지 않는지 조사하기 위해.
• 다양한 외부 마라티어 혐오 발언 데이터셋을 활용한 데이터 증강 기법을 통해 모델의 일반화 능력과 성능 향상을 도모하기 위해.

제안 방법

• HASOC 2022, HASOC 2021, L3Cube-MahaHate 데이터셋의 병합된 훈련 세트에 대해 MahaTweetBERT, MahaTweetBERT-Hateful, MahaBERT, MuRIL, MarathiBert V2 등의 여러 BERT 모델을 미세조정하였다.
• 선택된 사전 훈련된 모델들은 도메인 관련성이 높다는 점을 고려했으며, MahaTweetBERT와 MahaTweetBERT-Hateful은 대규모 마라티어 트윗, 포함하여 혐오성 콘텐츠를 기반으로 사전 훈련되었다.
• HASOC 2021, HASOC 2022, L3Cube-MahaHate 세 가지 다른 마라티어 혐오 발언 데이터셋을 결합하여 데이터 증강을 적용하여 훈련 데이터의 다양성과 크기를 증가시켰다.
• HASOC 2022 테스트 세트에서 공격적 및 비공격적 클래스 간 균형 잡힌 성능을 확보하기 위해 주로 매크로-F1 스코어를 평가 지표로 사용하였다.
• HASOC 2022 전용, HASOC 2022 + HASOC 2021, HASOC 2022 + HASOC 2021 + MahaHate 등의 다양한 훈련 데이터 조합 간 성능 비교를 위한 추론 실험을 수행하였다.
• 최종 테스트 세트 평가 이전에 HASOC 2022 개발 세트에서 검증 성능을 기반으로 최고의 모델 체크포인트를 선정하였다.

실험 결과

연구 질문

• RQ1 마라티어 트위터 전용 BERT 모델(MahaTweetBERT)이 일반 다국어 및 혐오성 데이터에 특화된 BERT 모델보다 마라티어 소셜미디어에서의 공격적 언어 탐지에 더 뛰어난 성능을 보일까?
• RQ2 HASOC 2021 및 L3Cube-MahaHate 등의 외부 마라티어 혐오 발언 데이터셋을 활용한 데이터 증강 기법이 HASOC 2022 벤치마크에서 모델 성능을 크게 향상시킬 수 있을까?
• RQ3 혼합된 데이터셋으로 훈련된 모델들이 여전히 동일한 문장 집합을 잘못 분류하는 이유는 무엇이며, 이는 모델의 일반화 한계를 어떻게 드러내는가?
• RQ4 혐오성 콘텐츠에만 전적으로 사전 훈련된 BERT 모델(MahaTweetBERT-Hateful)이 자원이 적은 환경에서 혼합 트윗 코퍼스에 사전 훈련된 모델보다 일관되게 뛰어난 성능을 보일까?
• RQ5 일반 목적 또는 다국어 사전 훈련과 비교했을 때, 마라티어 트윗에 특화된 도메인 전용 사전 훈련이 후속 공격적 언어 탐지 작업에서 성능 향상에 얼마나 기여하는가?

주요 결과

• 4,000만 개의 마라티어 트윗에 사전 훈련된 BERT 모델인 MahaTweetBERT는 HASOC 2022, HASOC 2021, L3Cube-MahaHate 데이터셋을 병합한 훈련 세트에 대해 미세조정한 결과, HASOC 2022 테스트 세트에서 최고의 F1 스코어 98.43을 기록하였다.
• HASOC 2022, HASOC 2021, MahaHate 데이터셋의 조합은 HASOC 2022 전용 훈련에 비해 성능 향상이 뚜렷하게 나타났으며, 이는 현재 데이터 스케일에서 모델의 성능이 아직 포화 상태에 이르지 않았음을 시사한다.
• 직관적인 기대와는 달리, 혐오성 마라티어 트윗 전용으로만 사전 훈련된 MahaTweetBERT-Hateful 모델은 더 넓은 혼합 데이터 코퍼스에 훈련된 MahaTweetBERT보다 성능이 열 劣했으며, 이는 혐오성 콘텐츠 전용 사전 훈련이 일반화 능력을 제한할 수 있음을 시사한다.
• 혼합 데이터셋으로 훈련된 모델들이 동일한 예측 오류를 반복적으로 보이며, 이는 훈련 방식에 관계없이 지속되는 데이터 편향 또는 모델 수렴 패턴을 암시한다.
• MahaTweetBERT 모델은 MuRIL 및 MarathiBert V2를 포함한 모든 다른 모델보다 뛰어난 성능을 보였으며, 자원이 적은 언어의 후속 NLP 작업에서 소셜미디어 텍스트에 특화된 도메인 전용 사전 훈련의 가치를 확인한다.
• 본 연구는 HASOC 2022 / MOLD v2 테스트 세트에서 새로운 최고 성능 기록을 수립하였으며, MahaTweetBERT는 98.43의 F1 스코어를 기록하여 마라티어 공격적 언어 탐지에 대해 트위터 전용 BERT와 다중 소스 데이터 증강 기법의 첫 성공적인 적용 사례로 기록되었다.