[논문 리뷰] Exploring Transformer Based Models to Identify Hate Speech and Offensive Content in English and Indo-Aryan Languages

Somnath Banerjee, Maulindu Sarkar외 3명|arXiv (Cornell University)|2021. 11. 27.

Hate Speech and Cyberbullying Detection인용 수 16

한 줄 요약

이 논문은 영어 및 인도아리안어(힌두어, 마라티어, 코드 혼합)에서 혐오 발언 및 공격적 콘텐츠 탐지에 대해 트랜스포머 기반 모델—특히 XLM-RoBERTa-large—을 평가한다. FIRE 2021 공동 과제 데이터를 바탕으로 클래스 가중치와 미세조정을 적용한 결과, XLM-RoBERTa-large는 코드 혼합(마크로 F1: 0.7107)과 힌두어 이중 분류(0.7797)에서 2위를 기록했으며, 마라티어에서는 3위(0.8756)를 기록하여 mBERT와 전문화된 모델인 IndicBERT를 능가했다.

ABSTRACT

Hate speech is considered to be one of the major issues currently plaguing online social media. Repeated and repetitive exposure to hate speech has been shown to create physiological effects on the target users. Thus, hate speech, in all its forms, should be addressed on these platforms in order to maintain good health. In this paper, we explored several Transformer based machine learning models for the detection of hate speech and offensive content in English and Indo-Aryan languages at FIRE 2021. We explore several models such as mBERT, XLMR-large, XLMR-base by team name "Super Mario". Our models came 2nd position in Code-Mixed Data set (Macro F1: 0.7107), 2nd position in Hindi two-class classification(Macro F1: 0.7797), 4th in English four-class category (Macro F1: 0.8006) and 12th in English two-class category (Macro F1: 0.6447).

연구 동기 및 목표

• 저자원 인도아리안어, 즉 힌두어, 마라티어, 영어-힌두어 혼합 텍스트에서 혐오 발언 및 공격적 언어 탐지의 과제를 해결하기 위해.
• 저자원 환경에서 다국어 및 다국어 전용 트랜스포머 모델의 효과성을 평가하기 위해 혐오 발언 탐지에 활용한다.
• 저자원 언어 분류에서 데이터 불균형과 데이터 균형 조정 기법이 모델 성능에 미치는 영향을 조사하기 위해.
• mBERT, XLM-RoBERTa, IndicBERT, dehateBERT와 같은 최신 모델들을 다국어 및 저자원 맥락에서 비교하기 위해.
• 특히 저자원 언어 시나리오에서 모델의 안정성과 성능 변동성을 평가하기 위해 다양한 랜덤 시드에 따른 성능에 대한 분석을 수행하기 위해.

제안 방법

• FIRE 2021 공동 과제 데이터셋을 바탕으로 XLM-RoBERTa-base, XLM-RoBERTa-large, mBERT-base, IndicBERT, dehateBERT를 포함한 다국어 트랜스포머 모델을 미세조정하였다.
• 이중 분류(HOF 대 NOT) 및 사중 분류(HATE, OFFN, PRFN, NONE) 과제에서 데이터 불균형을 완화하기 위해 클래스 가중치를 적용하였다.
• Hugging Face와 PyTorch를 사용하여 Adam 옵티마이저와 교차 엔트로피 손실을 활용해 모델을 훈련하였으며, 타겟 데이터셋에 대해 20 에포크 동안 미세조정을 수행하였다.
• 코드 혼합 데이터에 대해 특수하게 미세조정된 XLM-RoBERTa-large 모델을 활용하여 표준 버전 대비 성능 향상을 이룩하였다.
• 다양한 언어 및 과제 구성(영어, 힌두어, 마라티어, 코드 혼합 데이터 포함)에서 마크로 F1 스코어를 사용해 모델을 평가하였다.
• 다양한 랜덤 시드를 활용한 실험을 통해 런에 따른 성능 안정성과 변동성을 평가하였다.

실험 결과

연구 질문

• RQ1 다국어 트랜스포머 모델은 저자원 인도아리안어, 예를 들어 힌두어 및 마라티어에서 혐오 발언 및 공격적 콘텐츠 탐지에 어떻게 성능을 발휘하는가?
• RQ2 저자원 혐오 발언 탐지에서 XLM-RoBERTa-large, mBERT, 그리고 전문화된 모델인 IndicBERT 및 dehateBERT의 상대적 효과성은 어떠한가?
• RQ3 다국어 혐오 발언 분류에서 불균형 데이터셋에 대해 클래스 가중치가 얼마나 성능 향상에 기여하는가?
• RQ4 특히 XLM-RoBERTa와 mBERT에 대해 다양한 랜덤 시드에서 성능 결과의 안정성은 어느 정도인가?
• RQ5 이러한 저자원 환경에서 전문화된 모델인 IndicBERT와 dehateBERT가 일반 다국어 모델보다 성능이 열 劣하는 이유는 무엇인가?

주요 결과

• XLM-RoBERTa-large는 영어 사중 분류 과제에서 마크로 F1 스코어 0.8006을 기록하여 대회에서 2위를 차지했다.
• 힌두어 이중 분류 과제에서 mBERT가 마크로 F1 0.7797을 기록하며 최고 성능을 보이며 전체 2위를 기록했다.
• 코드 혼합 데이터에 대해 특수하게 미세조정된 XLM-RoBERTa-large 모델은 마크로 F1 0.7107을 기록하여 공동 과제에서 2위를 기록했다.
• 대회 후 평가에서 XLM-RoBERTa-large는 마라티어 데이터셋에서 마크로 F1 0.8756을 기록하여 3위 팀과 동률을 이뤘다.
• XLM-RoBERTa 모델은 랜덤 시드에 따른 성능 변동이 매우 낮아 최대 1-2%의 변동을 보였으며, mBERT는 6-7%의 변동을 보여 상대적으로 높은 변동성을 보였다.
• IndicBERT와 dehateBERT는 인도어 또는 혐오 발언 탐지에 특화된 모델로 설계되었음에도 불구하고, XLM-RoBERTa와 mBERT에 비해 성능이 열 劣했다.