[논문 리뷰] Contextual Hate Speech Detection in Code Mixed Text using Transformer Based Approaches

Ravindra Nayak, Raviraj Joshi|arXiv (Cornell University)|2021. 10. 18.

Hate Speech and Cyberbullying Detection인용 수 13

한 줄 요약

이 논문은 코드 믹스드 영어-힌디어(Hinglish) 트윗에서의 문맥적 혐오 발언 감지를 위해 다중언어 BERT와 인디크-BERT를 사용한 이중 인코더 트랜스포머 기반 접근법을 제안한다. 문맥 트윗과 대상 트윗을 별도로 인코딩하고, [CLS] 임베딩의 평균을 구한 후 정적 공격적 단어 사전과 모델 앙상블를 결합함으로써, HASOC 2021 ICHCL 데이터셋에서 새로운 최고 성능 기록인 F1 스코어 73.07%를 달성한다.

ABSTRACT

In the recent past, social media platforms have helped people in connecting and communicating to a wider audience. But this has also led to a drastic increase in cyberbullying. It is essential to detect and curb hate speech to keep the sanity of social media platforms. Also, code mixed text containing more than one language is frequently used on these platforms. We, therefore, propose automated techniques for hate speech detection in code mixed text from scraped Twitter. We specifically focus on code mixed English-Hindi text and transformer-based approaches. While regular approaches analyze the text independently, we also make use of content text in the form of parent tweets. We try to evaluate the performances of multilingual BERT and Indic-BERT in single-encoder and dual-encoder settings. The first approach is to concatenate the target text and context text using a separator token and get a single representation from the BERT model. The second approach encodes the two texts independently using a dual BERT encoder and the corresponding representations are averaged. We show that the dual-encoder approach using independent representations yields better performance. We also employ simple ensemble methods to further improve the performance. Using these methods we report the best F1 score of 73.07% on the HASOC 2021 ICHCL code mixed data set.

연구 동기 및 목표

• 코드 믹스드 소셜 미디어 콘텐츠, 특히 트위터에서의 영어-힌디어 혼합 텍스트인 히ング리시에서 혐오 발언을 탐지하는 데 도전하는 것.
• 고립된 응답에서 명백하지 않을 수 있는 부모 트윗의 문맥 정보를 통합하여 탐지 성능을 향상시키는 것.
• 저자원 다중언어 혐오 발언 감지 환경에서 다중언어 BERT와 인디크-BERT의 효과를 평가하는 것.
• 고정 임베딩과 정적 공격적 단어 사전이 모델 일반화 능력과 성능 향상에 기여하는지 조사하는 것.
• 코드 믹스드 혐오 발언 감지에 있어 HASOC 2021 ICHCL 벤치마크에서 최고 성능을 달성하는 것.

제안 방법

• 모델은 이중 인코더 아키텍처를 사용하여 문맥과 대상 트윗 텍스트를 별도로 BERT로 인코딩하여 개별 [CLS] 토큰 임베딩을 생성한다.
• 문맥과 대상 트윗의 [CLS] 임베딩을 평균화하여 분류를 위한 통합 문장 표현을 형성한다.
• 비교를 위해 단일 인코더 베이스라인을 사용하며, 문맥과 대상 텍스트를 구분 토큰으로 연결하여 하나의 입력 시퀀스로 처리한다.
• m-BERT와 인디크-BERT의 임베딩 레이어를 미세조정 중 동결하여 사전 학습된 표현을 유지하고 과적합을 줄인다.
• 훈련 및 테스트 세트에서의 데이터 泄漏 없이, 정적 공격적 단어 사전을 사용하여 감지 성능을 향상시키는 결정론적 필터로 활용한다.
• 앙상블 방법은 최고 성능을 보인 모델들의 예측을 결합하며, 특히 이중 인코더 및 단일 인코더 설정에서 인디크-BERT와 m-BERT의 예측을 평균화한다.

실험 결과

연구 질문

• RQ1 부모 트윗의 문맥 정보를 통합함으로써 코드 믹스드 히ング리시 텍스트에서 혐오 발언 감지 성능이 향상되는가?
• RQ2 단일 인코더와 이중 인코더 BERT 아키텍처는 대화 스레드에서 혐오 발언을 분류하는 데 어떻게 비교되는가?
• RQ3 BERT 임베딩을 동결하는 것이 저자원, 코드 믹스드 혐오 발언 감지 작업에서 성능 향상에 기여하는가?
• RQ4 데이터 泄漏 없이 정적 공격적 단어 사전을 통합할 경우 성능 향상 정도는 어느 정도인가?
• RQ5 여러 BERT 기반 모델의 앙상블 학습이 개별 모델을 초월해 F1 스코어를 더욱 향상시킬 수 있는가?

주요 결과

• 문맥 트윗과 대상 트윗의 [CLS] 임베딩을 평균화하는 이중 인코더 접근법이 문맥과 대상 텍스트를 연결하는 단일 인코더 방법보다 성능이 뛰어나다.
• m-BERT와 인디크-BERT의 임베딩 레이어를 동결함으로써 일반화 능력 향상이 이루어졌으며, 이 전략을 통해 최고의 F1 스코어 73.07%를 달성했다.
• 고정 임베딩, 이중 인코더 설정, 사전 통합을 적용한 인디크-BERT 모델은 F1 스코어 70.37%를 기록하여 m-BERT 기반 베이스라인의 65.53%를 초월했다.
• 정적 공격적 단어 사전 통합은 모든 설정에서 F1 스코어 향상을 이끌었으며, 특히 이중 인코더 설정에서 가장 높은 향상률을 보였다.
• 이중 인코더 및 단일 인코더 설정에서 인디크-BERT와 m-BERT를 모두 활용한 네 모델의 앙상블은 전체적으로 가장 높은 F1 스코어 73.07%를 기록했다.
• 혼동 행렬 분석을 통해 앙상블 모델이 문맥적으로 모호한 경우에 특히 비혐오 콘텐츠의 오분류를 줄였음을 확인했다.