[논문 리뷰] Multimodal Learning for Hateful Memes Detection

Yi Zhou, Zhenhao Chen|arXiv (Cornell University)|2020. 11. 25.

Hate Speech and Cyberbullying Detection참고 문헌 55인용 수 5

한 줄 요약

이 논문은 시각적 영역, 이미지 캡션, 텍스트 콘텐츠 간의 다중모odal 관계를 모델링함으로써 악성 멘지 감지 성능을 향상시키기 위해 이미지 캡션, 객체 검출 및 OCR 텍스트를 통합하는 새로운 트리플릿 관계 네트워크(TRN)를 제안한다. 이 방법은 Hateful Memes Challenge Phase 2에서 276개 팀 중 13위를 기록하며 최신 기술 수준(SOTA) 성능을 달성하였으며, 생성된 캡션을 포함한 시각적 및 언어적 특징을 사용하여 테스트 F1 스코어 74.80%를 기록하였다.

ABSTRACT

Memes are used for spreading ideas through social networks. Although most memes are created for humor, some memes become hateful under the combination of pictures and text. Automatically detecting the hateful memes can help reduce their harmful social impact. Unlike the conventional multimodal tasks, where the visual and textual information is semantically aligned, the challenge of hateful memes detection lies in its unique multimodal information. The image and text in memes are weakly aligned or even irrelevant, which requires the model to understand the content and perform reasoning over multiple modalities. In this paper, we focus on multimodal hateful memes detection and propose a novel method that incorporates the image captioning process into the memes detection process. We conduct extensive experiments on multimodal meme datasets and illustrated the effectiveness of our approach. Our model achieves promising results on the Hateful Memes Detection Challenge.

연구 동기 및 목표

• 텍스트와 시각 콘텐츠가 약하게 정렬되거나 의미적으로 무관한 경우 악성 멘지 감지를 어려워하는 문제를 해결하기 위해.
• 생성된 이미지 캡션을 추가 모odal로 통합함으로써 악성 멘지 감지에서 다중모달 추론을 향상시키기 위해.
• 시각적 영역, OCR 텍스트, 이미지 캡션 간의 복잡한 다중모달 관계를 모델링하여 보다 정확한 분류를 가능하게 하기 위해.
• 이미지 캡션과 언어 증강 기법이 다중모달 표현 학습을 향상시키는 데 효과적인지 평가하기 위해.

제안 방법

• 멤지에 대한 기술적 설명 캡션을 생성하기 위해 이미지 캡션 모델을 통합하여 다중모달 추론을 위한 추가적인 의미적 맥락을 제공한다.
• 객체 검출기를 사용하여 시각적 영역 특징(RoIs)을 추출하고, 이를 OCR로 추출된 텍스트 및 생성된 캡션과 융합한다.
• 이미지 캡션, 검출된 객체, OCR 텍스트의 세 입력 간 관계를 크로스 어텐션 메커니즘을 사용하여 모델링하는 트리플릿 관계 네트워크(TRN)를 적용한다.
• 시각적 및 텍스트적 특징을 별도로 인코딩한 후 융합하기 위해 이중스트림(V&L) 및 일중스트림(V+L) 기반의 트랜스포머 아키텍처를 사용한다.
• 특히 이중스트림 설정에서 텍스트 모odal의 강건성을 향상시키기 위해 백트랜슬레이션을 활용한 데이터 증강을 적용한다.
• 객체 레이블을 언어 토큰으로 간주하고 OCR 텍스트 및 캡션과 연결하여 다중모달 정렬을 강화한다.

Figure 1 : Illustration of our proposed multimodal memes detection approach. It consists of an image captioner, an object detector, a triplet-relation network, and a classifier. Our method considers three different knowledge extracted from each meme: image caption, OCR sentences, and visual features

실험 결과

연구 질문

• RQ1 생성된 이미지 캡션은 추가적인 의미적 맥락을 제공함으로써 악성 멘지 감지 모델의 성능을 향상시킬 수 있는가?
• RQ2 트리플릿 관계 네트워크는 멘지의 이미지 캡션, 검출된 객체, OCR 텍스트 간의 관계를 효과적으로 모델링할 수 있는가?
• RQ3 백트랜슬레이션을 통한 언어 데이터 증강은 특히 이중스트림 아키텍처에서 모델 일반화 능력을 향상시키는가?
• RQ4 캡션과 OCR 텍스트와 함께 조합되었을 때 객체 레이블은 다중모달 정렬을 얼마나 효과적으로 향상시키는가?
• RQ5 기존의 다중모달 융합 접근 방식과 비교해 볼 때, 제안된 방법은 악성 멘지 감지 벤치마크에서 어떤 성능을 보이는가?

주요 결과

• 이미지 캡션과 다중모달 융합을 통한 제안된 방법은 Hateful Memes Challenge Phase 2에서 276개 팀 중 13위를 기록하였으며, 테스트 F1 스코어 74.80%를 달성하였다.
• 이미지 캡션을 통합한 V&L 모델은 모든 다른 V&L 기반 모델을 초월하여, 생성된 캡션이 다중모달 추론을 향상시키는 데 효과적임을 입증하였다.
• 백트랜슬레이션은 이중스트림(V&L) 모델에서는 성능 향상을 이끌었지만, 일중스트림(V+L) 모델에서는 그렇지 않았으며, 이는 별도의 모달 모델링이 증강된 텍스트에서 더 큰 이점을 얻음을 시사한다.
• 객체 레이블은 V+L 및 V&L 모델 양쪽 모두에서 성능을 크게 향상시켜, 시각적 영역과 텍스트적 특징 간 효과적인 앵커 역할을 하였다.
• 트리플릿 관계 네트워크는 이미지 콘텐츠, 캡션, 텍스트 간의 암묵적인 관계를 효과적으로 포착하여, OCR 텍스트와 이미지가 의미적으로 정렬되지 않은 경우에도 정확한 분류를 가능하게 하였다.
• 정성적 분석 결과, 생성된 이미지 캡션을 활용하여 비정상적 또는 비논리적인 텍스트를 가진 멘지의 악성 의도를 정확히 감지할 수 있음을 확인하였다.

Figure 2 : Overview of our proposed hateful memes detection framework. It consists of three components: image captioner, object detector, and triplet-relation network. The top branch shows the training of the image captioning model on image-caption pairs. The bottom part is meme detection. It takes