[논문 리뷰] Feels Bad Man: Dissecting Automated Hateful Meme Detection Through the Lens of Facebook's Challenge

Catherine Jennifer, Fatemeh Tahmasbi외 4명|OpenBU (Boston University)|2022. 02. 17.

Hate Speech and Cyberbullying Detection인용 수 6

한 줄 요약

이 연구는 4chan의 /pol/ 및 페이스북의 Hateful Memes 챌린지에서 유래한 데이터셋을 사용하여 최신 다중모달 모델의 혐오스러운 멤에 감지 능력을 평가한다. 시각적 특징만으로도 텍스트 기반 분석을 능가하며, 합성된 페이스북 데이터로 훈련된 모델는 극단파 플랫폼에서의 실제 바이러스성 멤에에는 일반화 능력이 떨어지는 것으로 나타나 현재의 감지 시스템에 핵심적인 한계가 있음을 시사한다.

ABSTRACT

Internet memes have become a dominant method of communication; at the same time, however, they are also increasingly being used to advocate extremism and foster derogatory beliefs. Nonetheless, we do not have a firm understanding as to which perceptual aspects of memes cause this phenomenon. In this work, we assess the efficacy of current state-of-the-art multimodal machine learning models toward hateful meme detection, and in particular with respect to their generalizability across platforms. We use two benchmark datasets comprising 12,140 and 10,567 images from 4chan's "Politically Incorrect" board (/pol/) and Facebook's Hateful Memes Challenge dataset to train the competition's top-ranking machine learning models for the discovery of the most prominent features that distinguish viral hateful memes from benign ones. We conduct three experiments to determine the importance of multimodality on classification performance, the influential capacity of fringe Web communities on mainstream social platforms and vice versa, and the models' learning transferability on 4chan memes. Our experiments show that memes' image characteristics provide a greater wealth of information than its textual content. We also find that current systems developed for online detection of hate speech in memes necessitate further concentration on its visual elements to improve their interpretation of underlying cultural connotations, implying that multimodal models fail to adequately grasp the intricacies of hate speech in memes and generalize across social media platforms.

연구 동기 및 목표

• 다양한 소셜 미디어 플랫폼에서 혐오스러운 멤에 감지에 있어 다중모달 기계학습 모델의 효과성을 평가하는 것.
• 합성된 페이스북 제공 데이터셋으로 훈련된 모델가 4chan의 /pol/과 같은 극단파 커뮤니티의 실제 바이러스성 멤에에 대해 일반화되는지 조사하는 것.
• 바이러스성 혐오스러운 멤에와 일반적인 멤에를 구분하는 데 핵심이 되는 시각적 및 텍스트적 특징을 특정하는 것.
• 분류 성능 및 모델의 일반화 능력에 미치는 다중모달성(이미지 및 텍스트)의 역할을 평가하는 것.
• 다중모달 멤에에서 혐오 발언을 감지하기 위한 기존 데이터셋 및 모델의 한계를 밝혀내는 것.

제안 방법

• 분류 성능에 대한 텍스트 콘텐츠 기여도를 평가하기 위해 4chan의 /pol/에서 유래한 12,140개의 멤에 데이터셋을 기반으로 VisualBERT를 훈련.
• 페이스북의 Hateful Memes 챌린지 데이터셋으로 미리 훈련된 UNITER 모델을 4chan 멤에에 적용하여 플랫폼 간 일반화 능력을 테스트.
• 4chan 멤에 전용으로 훈련된 세 모델(UNITER, OSCAR, 앙상블)을 통해 챌린지 최고 성능 솔루션의 이식 가능성 평가.
• 최고 성능을 보인 모델에 대해 특징 기여도 분석을 수행하여 혐오스러운 멤에 분류에 가장 영향을 미치는 시각적 특성 식별.
• 실험 간 일관성과 비교 가능성을 확보하기 위해 Kiela 등과 Zannettou 등이 제시한 벤치마크 데이터셋을 활용.
• 시각적 특징와 텍스트 특징의 영향을 분리하기 위해 단모달(이미지 전용) 및 다중모달(이미지 + 텍스트) 표현 방식을 적용.

실험 결과

연구 질문

• RQ1 이미지 멤에에서 혐오스러운 멤에 감지에 있어 다중모달성의 영향은 얼마나 크며?
• RQ2 페이스북의 Hateful Memes 챌린지 데이터셋으로 훈련된 모델가 4chan과 같은 다른 플랫폼의 멤에에 적용되었을 때 이식 가능성은 어떠한가?
• RQ3 바이러스성 혐오스러운 멤에와 일반적인 멤에를 구분하는 데 핵심이 되는 주요 시각적 및 텍스트적 특징은 무엇인가?
• RQ4 현재의 다중모달 모델가 합성 데이터로 훈련된 경우에도 플랫폼 간 일반화 능력이 어느 정도 유지되는가?
• RQ5 어떤 시각적 특징이 멤에의 바이러스성과 인식된 혐오스러움과 가장 강하게 관련되어 있는가?

주요 결과

• 멤에의 시각적 특징은 텍스트 콘텐츠보다 훨씬 더 구분력 있는 정보를 제공하여, 단일모달(이미지 전용) 설정에서도 80%의 정확도를 달성할 수 있었다.
• 합성된 페이스북 Hateful Memes 챌린지 데이터셋으로 훈련된 모델는 실제 4chan 멤에에서는 성능이 열악하여 벤치마크 데이터의 일반화 능력이 떨어지고 대표성도 부족함을 시사한다.
• 최고 성능을 보인 앙상블 모델은 4chan의 바이러스성 혐오스러운 멤에를 84%의 정확도로 분류하는 데 성공하여 실세계 감지에 있어 다중모달 융합의 효과성을 입증했다.
• 주제 내용, 표정, 제스처, 비율의 네 가지 핵심 시각적 특징이 멤에의 바이러스성과 혐오 인식과 끊임없이 연관되어 있었다.
• 텍스트 콘텐츠만으로는 분류 성능를 설명할 수 없었으며, 모델은 텍스트 특징에 의존하지 않더라도 높은 정확도를 달성했다.
• 모델 예측에 편향이 존재하는 것으로 밝혀졌으며, 특히 'Jew'와 같은 단어가 비혐오적 맥락에서도 혐오스럽게 분류되는 경향이 있어, 혐오 감지에서 문화적·맥락적 뉘앙스의 복잡성을 반영하는 데 어려움이 있음을 시사한다.