[논문 리뷰] MOMENTA: A Multimodal Framework for Detecting Harmful Memes and Their Targets

Shraman Pramanick, Shivam Sharma외 4명|arXiv (Cornell University)|2021. 09. 11.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

MOMENTA는 매크로적이고 다중모odal 딥러닝 프레임워크로, 맥락 속에서 국소적이고 전반적인 이미지-텍스트 상호작용을 분석함으로써 악성 멤을 탐지하고 그 사회적 대상을 특정한다. 새로운 데이터셋인 Harm-C (코로나19)와 Harm-P (미국 정치)에서 10개의 기준 모델보다 1.3–2.6%의 절대 정확도 향상을 보이며, 도메인 간 해석 가능성과 일반화 능력이 뛰어나다.

ABSTRACT

Internet memes have become powerful means to transmit political, psychological, and socio-cultural ideas. Although memes are typically humorous, recent days have witnessed an escalation of harmful memes used for trolling, cyberbullying, and abuse. Detecting such memes is challenging as they can be highly satirical and cryptic. Moreover, while previous work has focused on specific aspects of memes such as hate speech and propaganda, there has been little work on harm in general. Here, we aim to bridge this gap. We focus on two tasks: (i)detecting harmful memes, and (ii)identifying the social entities they target. We further extend a recently released HarMeme dataset, which covered COVID-19, with additional memes and a new topic: US politics. To solve these tasks, we propose MOMENTA (MultimOdal framework for detecting harmful MemEs aNd Their tArgets), a novel multimodal deep neural network that uses global and local perspectives to detect harmful memes. MOMENTA systematically analyzes the local and the global perspective of the input meme (in both modalities) and relates it to the background context. MOMENTA is interpretable and generalizable, and our experiments show that it outperforms several strong rivaling approaches.

연구 동기 및 목표

• 비속하거나 명백히 혐오스럽지 않지만 맥락과 다중모달 상호작용으로 인해 손상이 발생하는 악성 멤을 탐지하는 데 있어 기존의 격차를 보완하기 위해.
• 기존의 혐오 또는 불쾌감 탐지 연구에서 다루지 않은 바와 같이, 악성 멤이 특정하는 사회적 실체를 식별하기 위해.
• HarMeme 데이터셋을 새로운 예시와 새로운 주제(미국 정치)로 확장하여, 악성 탐지 시스템의 폭넓은 평가를 가능하게 하기 위해.
• 배경 맥락을 효과적으로 통합하여, 단일모달 또는 조기 융합 접근 방식을 넘어서는 탐지 성능 향상을 위한 모델 개발을 위해.
• 다양한 종류의 멤과 도메인에 걸쳐 모델의 해석 가능성과 일반화 능력을 확보하기 위해.

제안 방법

• MOMENTA는 사전 훈련된 시각 및 언어 인코더(예: ViT와 BERT)를 사용해 이미지 및 텍스트 특징을 별도로 인코딩하는 이중 브랜치 아키텍처를 채택한다.
• 국소적 및 전반적인 주의 메커니즘을 적용하여 세부적인 시각적 단서(예: 제스처, 표정)와 이미지-텍스트 간의 전반적 의미 일관성을 파악한다.
• 외부 지식 소스 또는 맥락 기반 인코더에서 유도된 배경 맥락 임베딩과 함께 다중모달 표현을 융합한다.
• 미묘한 해를 입히는 멤의 표현을 정확히 구분하기 위해 유사도 기반 학습 목표를 사용한다.
• Grad-CAM과 LIME 기반의 샛기 지도를 통해 모델의 예측에 기여하는 핵심 이미지 영역과 텍스트 토큰을 강조함으로써 해석 가능성을 확보한다.
• 모델은 배경 맥락을 통합한 확장된 HarMeme 데이터셋에서 종합적으로 미세조정되며, 적대적 훈련 및 정규화 기법을 통해 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 배경 맥락을 통합함으로써, 미묘하고 맥락 의존적인 악성 멤을 탐지하는 데 어떤 영향을 미치는가?
• RQ2 다중모달 모델이 명백히 불쾌감을 유발하지 않거나 혐오스럽지 않은 악성 멤을 얼마나 잘 구분할 수 있는가?
• RQ3 통합된 프레임워크가 하나의 아키텍처 안에서 악성 멤과 그 타깃 사회적 실체를 효과적으로 동시에 탐지할 수 있는가?
• RQ4 MOMENTA의 성능은 다양한 멤 탐지 작업에서 강력한 단일모달 및 다중모달 기준 모델과 비교해 어떻게 되는가?
• RQ5 예측에 기여하는 주요 시각적 및 텍스트적 단서는 무엇이며, 그 해석 가능성은 어느 정도인가?

주요 결과

• MOMENTA는 악성 멤 탐지에서 Harm-C 및 Harm-P 데이터셋 양쪽 모두에서 10개의 강력한 기준 모델보다 1.3–2.6%의 절대 정확도 향상을 달성한다.
• 모델은 뛰어난 일반화 능력을 보이며, 원래의 코로나19 초점 외에도 미국 정치와 같은 새로운 주제 및 도메인에서도 잘 작동한다.
• 해석 가능성 분석 결과, 예를 들어 충돌하는 제스처나 'CAMPAIGNING'과 같은 특정 단어와 같은 핵심 악성 단서들이 샛기 지도에 정확히 강조됨을 확인할 수 있었다.
• 높은 성능에도 불구하고, 명시적인 시각적 또는 텍스트적 단서가 아닌 뿌리 깊은 의미적 맥락에서 비롯된 해를 입히는 멤에서는 실패함을 보이며, 더 깊은 맥락 이해 능력이 필요함을 시사한다.
• 기존 연구에서 널리 지원되지 않았던 바와 같이, 프레임워크는 멤의 타깃(예: 조 바이든, 도널드 트럼프)을 높은 정밀도로 정확히 식별할 수 있었다.
• 제거 실험을 통해 국소적 및 전반적인 다중모달 모델링과 배경 맥락이 최적의 성능을 내기 위해 필수적임을 확인했다.