[논문 리뷰] Hate Speech in Pixels: Detection of Offensive Memes towards Automatic Moderation

Benet Oriol Sàbat, Cristian Canton-­Ferrer외 1명|arXiv (Cornell University)|2019. 10. 05.

Hate Speech and Cyberbullying Detection참고 문헌 14인용 수 66

한 줄 요약

논문은 시각(VGG-16)과 텍스트(OCR+BERT) 표현을 융합하여 밈에서 혐오 발언을 탐지하는 다중모달 접근법을 제시하며, 다중모달이 어느 한 모달리티보다 우수하지만 해당 작업은 여전히 도전적임.

ABSTRACT

This work addresses the challenge of hate speech detection in Internet memes, and attempts using visual information to automatically detect hate speech, unlike any previous work of our knowledge. Memes are pixel-based multimedia documents that contain photos or illustrations together with phrases which, when combined, usually adopt a funny meaning. However, hate memes are also used to spread hate through social networks, so their automatic detection would help reduce their harmful societal impact. Our results indicate that the model can learn to detect some of the memes, but that the task is far from being solved with this simple architecture. While previous work focuses on linguistic hate speech, our experiments indicate how the visual modality can be much more informative for hate speech detection than the linguistic one in memes. In our experiments, we built a dataset of 5,020 memes to train and evaluate a multi-layer perceptron over the visual and language representations, whether independently or fused. The source code and mode and models are available https://github.com/imatge-upc/hate-speech-detection .

연구 동기 및 목표

• 소셜 미디어에서 혐오 밈에 대한 자동 moderation 동기를 부여합니다.
• 시각 정보와 텍스트 정보를 결합하는 것이 밈의 혐오 발언 탐지에 도움이 되는지 조사합니다.
• 밈에서 비전 모달리티와 언어 모달리티 중 상대적으로 정보량이 많은 것을 평가합니다.
• 두 모달리티 모두에 대해 최신 인코더를 사용한 재현 가능한 Baseline을 제공합니다.

제안 방법

• OCR(Tesseract 4.0.0)을 사용하여 밈에서 텍스트를 추출합니다.
• 텍스트를 BERT(bert-base-multilingual-cased)로 인코딩하고 평균 단어 임베딩으로 문장 표현을 얻습니다.
• ImageNet에서 사전 학습된 VGG-16으로 이미지를 인코딩하고 마지막 은닉 계층(4096-차원)을 이미지 특징으로 사용합니다.
• 텍스트와 이미지 특징을 연결하여 4,864-차원 다중모달 표현을 형성합니다.
• 두 개의 은닉층이 있는 MLP를 학습합니다(각 100 뉴런, ReLU), 최종 한 개의 출력 뉴런으로 혐오 점수를 제공합니다.
• Adam 옵티마이저로 학습합니다(lr 0.1, 베타 0.9/0.999, eps 1e-8), 배치 크기 25, 드롭아웃 0.2, 이진 정확도로 평가되는 MSE 손실.

실험 결과

연구 질문

• RQ1 밈에서 혐오 발언을 텍스트와 이미지 정보를 융합하는 다중모달 방법으로 탐지할 수 있습니까?
• RQ2 다중모달 모델이 이 작업에서 비전만 또는 텍스트만 모델보다 성능이 더 우수합니까?
• RQ3 OCR 품질과 언어 인코딩이 밈의 혐오 발언 탐지에 어떤 영향을 미칠까요?
• RQ4 다중모달 융합의 실용적 이점은 단일 모달리티를 사용하는 것과 비교하여 무엇입니까?

주요 결과

• 다중모달 융합이 세 구성 중에서 가장 좋은 성능을 보였습니다.
• 최고의 최대 정확도 달성: 0.833; 스무딩된 최대 정확도: 0.823.
• 비전-전용 정확도: 0.830 (0.804 스무딩).
• 텍스트-전용 정확도: 0.761 (0.750 스무딩).
• 최고 다중모달 모델의 평균 정밀도: 0.81 (정밀도-재현).
• OCR 및 텍스트 인코딩 품질은 밈의 왜곡과 OCR 한계로 언어 기반 결과에 영향을 미칠 수 있습니다.