[논문 리뷰] Leveraging Multilingual Transformers for Hate Speech Detection

Sayar Ghosh Roy, Ujwal Narayan외 3명|arXiv (Cornell University)|2021. 01. 08.

Hate Speech and Cyberbullying Detection참고 문헌 16인용 수 26

한 줄 요약

이 논문은 다국어 Transformer 모델(XLM-RoBERTa)을 사용하여 영어, 독일어, 힌디의 혐오 발언을 탐지하고 분류하며, 강한 매크로 F1 점수를 달성하고 Perspective API 특징과 특징 선택을 분석한다.

ABSTRACT

Detecting and classifying instances of hate in social media text has been a problem of interest in Natural Language Processing in the recent years. Our work leverages state of the art Transformer language models to identify hate speech in a multilingual setting. Capturing the intent of a post or a comment on social media involves careful evaluation of the language style, semantic content and additional pointers such as hashtags and emojis. In this paper, we look at the problem of identifying whether a Twitter post is hateful and offensive or not. We further discriminate the detected toxic content into one of the following three classes: (a) Hate Speech (HATE), (b) Offensive (OFFN) and (c) Profane (PRFN). With a pre-trained multilingual Transformer-based text encoder at the base, we are able to successfully identify and classify hate speech from multiple languages. On the provided testing corpora, we achieve Macro F1 scores of 90.29, 81.87 and 75.40 for English, German and Hindi respectively while performing hate speech detection and of 60.70, 53.28 and 49.74 during fine-grained classification. In our experiments, we show the efficacy of Perspective API features for hate speech classification and the effects of exploiting a multilingual training scheme. A feature selection study is provided to illustrate impacts of specific features upon the architecture's classification head.

연구 동기 및 목표

• 다국어 소셜 미디어 텍스트에서 강건한 혐오 발언 탐지를 동기부여한다.
• 거친 분류(HOF 대 NOT) 및 세부 분류(HATE, OFFN, PRFN)를 조사한다.
• 다국어 및 단일 언어 학습을 기반으로 한 XLM-RoBERTa 기반 아키텍처를 평가한다.
• Perspective API 특징과 이모지/해시태그 표현의 가치를 평가한다.

제안 방법

• 정제된 텍스트, 이모지, 분할된 해시태그의 연결 임베딩을 사용한 이중 층 MLP 분류기를 갖춘 XLM-RoBERTa를 미세조정한다.
• 이모지2vec 및 해시태그 임베딩을 구성 요소의 평균으로 평균화하여 공통 잠재 공간에 정박시킨다.
• Perspective API 특징을 영어 및 독일어에 대해 독립 입력으로 MLP에 실험한다.
• 고정(베이스라인) 대 미세조정된 Transformer 가중치를 단일언어 및 다국어 설정에서 비교한다.
• 정제된 텍스트, 이모지, 해시태그에 걸친 특징 선택 연구를 수행하여 성능에 대한 영향을 평가한다.
• 평가 지표로 Macro F1-score를 사용하고 MLP 하이퍼파라미터에 대해 그리드 탐색을 수행한다.

실험 결과

연구 질문

• RQ1 다국어 트랜스포머가 영어, 독일어, 힌디 트윗에서 효과적으로 혐오 발언을 탐지할 수 있는가?
• RQ2 이모지 및 해시태그 임베딩의 추가가 분류 성능에 미치는 영향은 무엇인가?
• RQ3 Perspective API 특징이 혐오 발언 작업에서 Transformer 기반 표현보다 얼마나 우수한가?
• RQ4 영어 데이터가 가능할 때 독일어 및 힌디의 성능이 다국어 학습으로 개선되는가?
• RQ5 Transformer 가중치를 미세조정하는지 또는 고정 임베딩을 사용하는지의 효과는 무엇인가?

주요 결과

모델	영어 Task1	영어 Task2	독일어 Task1	독일어 Task2	힌디어 Task1	힌디어 Task2
XLMR-adaptive	90.29	59.03	81.04	52.99	75.40	45.87
XLMR-tuned	90.05	60.70	81.87	53.28	74.29	49.74

• XLM-RoBERTa 기반 모델은 Mono- 및 다국어 설정 모두에서 고정 베이스라인보다 미세조정으로 우수한 성능을 보인다.
• 가장 성능이 좋은 구성은 영어 Task1 90.05, Task2 60.70; 독일어 Task1 81.87, Task2 53.28; 힌디 Task1 74.29, Task2 49.74를 달성한다.
• 다국어 학습은 일부 설정에서 독일어 Task2 및 힌디 Task2 성능을 향상시키는 반면, 영어 결과는 제한된 특징 시나리오에서 하락할 수 있다.
• Perspective API 특징은 HOF 대 NOT에서 양호한 성능을 제공하지만 세부 분류에서 Transformer 기반 모델보다 뒤처진다.
• 이모지 및 해시태그 임베딩의 도입은 성능을 향상시키며, 해시태그 특징은 여러 설정에서 특히 유익하다.
• 특징 선택 연구는 해시태그와 이모지가 분류기 헤드에 유용한 정보를 더한다는 것을 보여준다.