[논문 리뷰] Multimodal Hate Speech Detection from Bengali Memes and Texts

Md Rezaul Karim, Sumon Kanti Dey외 3명|arXiv (Cornell University)|2022. 04. 19.

Hate Speech and Cyberbullying Detection인용 수 6

한 줄 요약

이 논문은 멤즈와 텍스트에서 유래한 텍스트 및 시각 데이터를 사용하여 자원이 부족한 벤골어 언어를 대상으로 다중모달 혐오 발언 탐지 프레임워크를 제안한다. 본 연구는 벤골어를 위한 첫 번째 다중모달 혐오 발언 데이터셋을 제작하였으며, XLM-RoBERTa와 DenseNet-161을 활용한 융합 기법을 적용하여 F1 스코어 0.83을 달성하였다. 이는 단일모달 모델들을 능가하는 성능을 보였으며, 텍스트 모odal이 가장 효과적이고, 멤즈는 중간 정도의 유용성을 보였다.

ABSTRACT

Numerous machine learning (ML) and deep learning (DL)-based approaches have been proposed to utilize textual data from social media for anti-social behavior analysis like cyberbullying, fake news detection, and identification of hate speech mainly for highly-resourced languages such as English. However, despite having a lot of diversity and millions of native speakers, some languages like Bengali are under-resourced, which is due to a lack of computational resources for natural language processing (NLP). Similar to other languages, Bengali social media contents also include images along with texts (e.g., multimodal memes are posted by embedding short texts into images on Facebook). Therefore, only the textual data is not enough to judge them since images might give extra context to make a proper judgement. This paper is about hate speech detection from multimodal Bengali memes and texts. We prepared the only multimodal hate speech dataset for-a-kind of problem for Bengali, which we use to train state-of-the-art neural architectures (e.g., Bi-LSTM/Conv-LSTM with word embeddings, ConvNets + pre-trained language models, e.g., monolingual Bangla BERT, multilingual BERT-cased/uncased, and XLM-RoBERTa) to jointly analyze textual and visual information for hate speech detection. Conv-LSTM and XLM-RoBERTa models performed best for texts, yielding F1 scores of 0.78 and 0.82, respectively. As of memes, ResNet-152 and DenseNet-161 models yield F1 scores of 0.78 and 0.79, respectively. As for multimodal fusion, XLM-RoBERTa + DenseNet-161 performed the best, yielding an F1 score of 0.83. Our study suggests that text modality is most useful for hate speech detection, while memes are moderately useful.

연구 동기 및 목표

• 자원이 부족한 벤골어 언어에서 혐오 발언 탐지에 대한 계산 자원과 애너테이션된 데이터셋의 부족을 해결하기 위해.
• 벤골어 멤즈와 텍스트의 텍스트 및 시각적 콘텐츠를 함께 분석하는 다중모달 프레임워크를 개발하여 혐오 발언 탐지 성능을 향상시키기 위해.
• 저자원 환경에서 혐오 발언 탐지에 효과적인 다양한 딥 러닝 아키텍처와 사전 훈련된 언어 모델의 성능을 평가하기 위해.
• 벤골어 NLP 연구를 촉진하기 위해 데이터셋, 모델, 코드를 포함한 오픈소스 계산 자원을 제공하기 위해.

제안 방법

• 소셜 미디어 멤즈에서 유래한 애너테이션된 텍스트와 이미지를 포함한, 벤골어를 위한 첫 번째 다중모달 혐오 발언 데이터셋을 구축하였다.
• 특징 추출을 위해 Bi-LSTM, Conv-LSTM 및 ResNet-152, DenseNet-161, EfficientNet-B7와 같은 시각 모델을 포함한 딥 네ural 네트워크를 활용하였다.
• 맥락적 텍스트 표현을 위해 단일언어 및 다국어 트랜스포머 모델인 Bangla BERT, mBERT-cased/uncased, XLM-RoBERTa를 통합하였다.
• NLP 및 컴퓨터 비전 모델에서 생성된 임베딩을 융합하여 후기 융합 전략을 사용해 텍스트 및 시각적 특징을 통합하였다.
• 표준 NLP 메트릭인 F1 스코어, 정밀도, 재현율 및 매튜 상관계수(MCC)를 사용해 모델을 훈련하고 평가하였다.
• 모델 결정을 분석하기 위해 사후 해석 기법을 사용하였지만, 모델의 해석 가능성은 여전히 한계로 남아 있다.

실험 결과

연구 질문

• RQ1 벤골어와 같이 저자원 언어에서, 단일모달 텍스트 기반 방법과 비교해 다중모달 접근 방식이 혐오 발언 탐지에 얼마나 효과적인가?
• RQ2 XLM-RoBERTa, mBERT, Bangla BERT와 같은 사전 훈련된 언어 모델 중에서 어떤 모델이 벤골어 혐오 발언 탐지에서 가장 우수한 성능을 보이는가?
• RQ3 벤골어 멤즈에서 혐오 발언 탐지에 있어 텍스트 모달과 시각 모달의 상대적 기여도는 어떠한가?
• RQ4 텍스트와 이미지의 통합 분석은 단일모달 기반 모델을 초월해 탐지 성능을 향상시킬 수 있는가?
• RQ5 Conv-LSTM, DenseNet-161과 같은 다양한 딥 러닝 아키텍처는 혐오 발언 탐지에 있어 텍스트 및 시각적 특징을 모델링하는 데 어떻게 비교되는가?

주요 결과

• XLM-RoBERTa가 단일모달 텍스트 전용 탐지에서 F1 스코어 0.82를 기록하여 다른 트랜스포머 모델들을 능가하였다.
• DenseNet-161이 멤즈의 단일모달 시각 분석에서 F1 스코어 0.79를 기록하여 ResNet-152 및 기타 CNN보다 뛰어난 성능을 보였다.
• XLM-RoBERTa와 DenseNet-161의 다중모달 융합은 F1 스코어 0.83 및 MCC 0.67를 기록하며 최고의 종합 성능을 달성하였다.
• 텍스트 모달이 혐오 발언 탐지에 있어 가장 정보가 풍부한 것으로 밝혀졌으며, 시각 모달은 중간 정도의 기여를 하였다.
• mBERT-uncased와 EfficientNet-B7의 조합은 F1 스코어 0.82를 기록하여 다국어 모델 융합 중 뛰어난 성능을 보였다.
• 다중모달 융합에도 불구하고, 어떤 모델도 최고의 단일모달 텍스트 기반 모델을 능가하지 못했으며, 이는 이 작업에서 텍스트 자체가 매우 예측력이 높다는 것을 시사한다.