[논문 리뷰] Leveraging Transformers for Hate Speech Detection in Conversational Code-Mixed Tweets

Zaki Mustafa Farooqi, Sreyan Ghosh외 1명|arXiv (Cornell University)|2021. 12. 18.

Hate Speech and Cyberbullying Detection인용 수 13

한 줄 요약

이 논문은 인도어-영어 혼합 트윗 대화에서 혐오 발언을 탐지하기 위한 트랜스포머 기반 앙상블 시스템을 제안한다. Indic-BERT, XLM-RoBERTa, Multilingual BERT를 활용하여 하드 보팅을 수행한다. 최고 성능을 보인 모델은 매크로 F1 스코어 0.7253을 기록하여 HASOC 2021 하위과제 2 랭킹에서 1위를 차지했으며, 자원이 적고 코드 스위칭이 빈번한 소셜 미디어 텍스트의 맥락적 뉘앙스를 효과적으로 포착했다.

ABSTRACT

In the current era of the internet, where social media platforms are easily accessible for everyone, people often have to deal with threats, identity attacks, hate, and bullying due to their association with a cast, creed, gender, religion, or even acceptance or rejection of a notion. Existing works in hate speech detection primarily focus on individual comment classification as a sequence labeling task and often fail to consider the context of the conversation. The context of a conversation often plays a substantial role when determining the author's intent and sentiment behind the tweet. This paper describes the system proposed by team MIDAS-IIITD for HASOC 2021 subtask 2, one of the first shared tasks focusing on detecting hate speech from Hindi-English code-mixed conversations on Twitter. We approach this problem using neural networks, leveraging the transformer's cross-lingual embeddings and further finetuning them for low-resource hate-speech classification in transliterated Hindi text. Our best performing system, a hard voting ensemble of Indic-BERT, XLM-RoBERTa, and Multilingual BERT, achieved a macro F1 score of 0.7253, placing us first on the overall leaderboard standings.

연구 동기 및 목표

• 독성이 암시적이고 맥락에 따라 달라지는 대화형, 코드 스위칭이 이루어진 인도어-영어 트윗 콘텐츠에서 혐오 발언을 탐지하는 데 도전하는 것.
• 교차 언어 트랜스포머 임bedding을 활용하여 번역된 인도어 텍스트에서 자원이 적은 혐오 발언 분류를 향상시키는 것.
• 앙상블 학습이 혐오 발언 탐지에서 특정 클래스에 치우친 오분류 편향을 완화하는 데 얼마나 효과적인지 평가하는 것.
• 직접적으로 공격적이지 않지만 독성이 있는 대화 체인에 기여하는 답글과 댓글에서 암시적 혐오를 식별할 수 있는 시스템을 개발하는 것.

제안 방법

• 인도어-영어 트윗을 위한 코드 스위칭 혐오 발언 데이터셋에 대해 인도어-BERT, XLM-RoBERTa, Multilingual BERT를 미세조정한다.
• 세 트랜스포머 모델의 예측을 집계하여 강건성과 일반화 능력을 향상시키기 위해 하드 보팅 앙상블 모델을 구축한다.
• 모든 예측의 맥락(원본 트윗, 답글, 댓글)을 입력으로 사용하여 암시적 혐오와 의도를 포착한다.
• 소프트 및 하드 보팅 전략을 적용하여 모델 출력을 통합하였으며, 하드 보팅이 더 뛰어난 성능을 보였다.
• 모델 일반화를 최적화하기 위해 HASOC 2021 데이터셋에서 광범위한 초모델 하이퍼파라미터 튜닝과 검증을 수행하였다.
• 오류 분석을 위해 혼동 행렬과 오분류 비율을 사용하여 특정 클래스의 약점을 식별하고 모델 행동을 분석하였다.

실험 결과

연구 질문

• RQ1 사전 훈련된 다국어 트랜스포머가 자원이 적고 코드 스위칭이 빈번한 인도어-영어 트윗 대화에서 혐오 발언을 효과적으로 탐지할 수 있는가?
• RQ2 이러한 자원이 적은 환경에서 앙상블 학습이 개별 트랜스포머 모델 대비 혐오 발언 탐지 성능을 어떻게 향상시키는가?
• RQ3 대화 맥락을 통합할 경우, 개별 댓글에선 드러나지 않지만 암시적 혐오를 탐지하는 데 얼마나 기여하는가?
• RQ4 어떤 모델은 'NOT'(비공격적) 클래스에서 더 높은 오분류 비율을 보이는 이유는 무엇이며, 앙상블은 이러한 편향을 완화할 수 있는가?

주요 결과

• Indic-BERT, XLM-RoBERTa, Multilingual BERT의 하드 보팅 앙상블 모델이 매크로 F1 스코어 0.7253을 기록하여 HASOC 2021 하위과제 2 랭킹에서 1위를 차지했다.
• 앙상블 모델은 개별 모델 대비 HOF(혐오/공격적) 및 NOT(비공격적) 클래스의 오분류 비율을 모두 감소시켰으며, HOF 클래스의 오분류 비율은 23.74%로 낮아졌다.
• Indic-BERT는 NOT 클래스의 오분류 비율이 40.27%로 HOF 클래스(23.30%)보다 뚜렷하게 높아, 예측에서 클래스 불균형이 존재함을 시사한다.
• Multilingual BERT와 XLM-RoBERTa의 오분류 비율은 각각 약 29-31%로 두 클래스 간에 균형 잡힌 성능을 보이며 더 일관된 성능을 나타낸다.
• 하드 보팅 앙상블은 소프트 보팅 앙상블(매크로 F1 0.7223)보다 성능이 뛰어나, 이 맥락에서 하드 보팅이 예측 갈등을 더 효과적으로 해결함을 보여준다.
• 개선에도 불구하고, 앙상블 모델은 여전히 NOT 클래스에서 HOF 클래스보다 7-8% 더 많은 샘플을 오분류하여 비독성 콘텐츠를 정확히 탐지하는 데 여전히 도전 과제가 있음을 시사한다.