[논문 리뷰] Hateful Memes Detection via Complementary Visual and Linguistic Networks

Weibo Zhang, Guihua Liu외 2명|arXiv (Cornell University)|2020. 12. 09.

Hate Speech and Cyberbullying Detection참고 문헌 16인용 수 14

한 줄 요약

이 논문은 Hateful Memes Challenge 2020 테스트 세트에서 78.48% AUROC와 72.95% 정확도를 기록하며, ViLBERT와 VisualBERT 아키텍처의 융합을 통해 시각 및 언어 모odal에서의 맥락 수준 및 민감한 객체 수준 특징을 통합함으로써 악성 멤에 감지에 대한 보완적인 다중 모odal 표현 학습을 통해 향상된 성능을 보여주는 보완적 시각-언어(CVL) 네트워크를 제안한다.

ABSTRACT

Hateful memes are widespread in social media and convey negative information. The main challenge of hateful memes detection is that the expressive meaning can not be well recognized by a single modality. In order to further integrate modal information, we investigate a candidate solution based on complementary visual and linguistic network in Hateful Memes Challenge 2020. In this way, more comprehensive information of the multi-modality could be explored in detail. Both contextual-level and sensitive object-level information are considered in visual and linguistic embedding to formulate the complex multi-modal scenarios. Specifically, a pre-trained classifier and object detector are utilized to obtain the contextual features and region-of-interests (RoIs) from the input, followed by the position representation fusion for visual embedding. While linguistic embedding is composed of three components, i.e., the sentence words embedding, position embedding and the corresponding Spacy embedding (Sembedding), which is a symbol represented by vocabulary extracted by Spacy. Both visual and linguistic embedding are fed into the designed Complementary Visual and Linguistic (CVL) networks to produce the prediction for hateful memes. Experimental results on Hateful Memes Challenge Dataset demonstrate that CVL provides a decent performance, and produces 78:48% and 72:95% on the criteria of AUROC and Accuracy. Code is available at https://github.com/webYFDT/hateful.

연구 동기 및 목표

• 복잡한 다중 모달 상호작용으로 인해 단일 모달 기반 접근 방식이 실패하는 소셜 미디어에서 악성 멤에 감지를 다루는 데에 초점 맞추기.
• 기존의 시각-언어 프레임워크가 전반적인 맥락 정보와 국소적인 민감한 객체 수준 정보를 모두 포착하지 못하는 한계를 극복하기.
• 이미지 및 텍스트 양측에서 맥락 수준 및 민감한 객체 수준의 단서를 통합함으로써 기능 이해도를 향상시키는 보완적 다중 모달 표현 개발하기.
• ViLBERT와 VisualBERT를 융합하는 새로운 융합 전략과 사전 훈련된 모델을 활용하여 Hateful Memes Challenge 2020에서의 성능 향상 달성하기.

제안 방법

• 입력 이미지에서 Visual Genome 기반 사전 훈련된 Faster R-CNN 검출기를 사용하여 100개의 영역 관심(ROI) 특징과 경계 상자 추출하기.
• 시각적 임bedding 향상을 위해 ROI 특징과 공간적 위치 인코딩을 융합하는 위치 표현 융합 적용하기.
• 각 텍스트에 대해 BERT 기반 토큰 임베딩, 위치 인코딩 및 Spacy 기반 Sembedding(Sembedding)을 사용하여 언어 임베딩 구축하기.
• ViLBERT(co-attention)와 VisualBERT(self-attention)를 사용하여 시각적 및 언어적 임베딩을 이중 스트림 아키텍처로 통합한 후, 분류 전에 최종 표현을 연결하기.
• Adam 옵timizer를 사용하여 교차 엔트로피 손실을 최적화하고 배치 크기를 80으로 설정하며, ViLBERT에 대해 학습률 1e-5, VisualBERT에 대해 5e-5로 설정하고 2,000 반복 동안 학습률 웜업 적용하기.
• 같은 레이블을 가진 샘플 간의 일반화를 향상시키기 위해 훈련 중 샘플 증강 전략 적용하기.

실험 결과

연구 질문

• RQ1 시각 및 언어 모달에서 맥락 수준 및 민감한 객체 수준의 특징을 동시에 통합하면 악성 멤에 감지 성능이 향상되는가?
• RQ2 이중 스트림 시각-언어 모델(ViLBERT 및 VisualBERT)의 융합은 단일 스트림 또는 단모달 기반 모델 대비 성능 향상에 어떻게 기여하는가?
• RQ3 Spacy 기반 Sembedding을 통합할 경우 다중 모달 악성 감지에서 언어 표현 수준에 어떤 영향을 미치는가?
• RQ4 제안된 CVL 네트워크는 Hateful Memes Challenge 2020 벤치마크에서 기존의 다중 모달 사전 훈련 프레임워크를 초월하는가?

주요 결과

• CVL 네트워크는 Hateful Memes Challenge 2020 Stage-2 테스트 세트에서 78.48% AUROC와 72.95% 정확도를 기록하여 개별 모델 및 이전의 다중 모달 기반 베이스라인을 모두 초월했다.
• ViLBERT와 VisualBERT를 후행 연결을 통해 융합한 전략은 최고의 개별 기반 모델(맥락 및 Sembedding 특징을 갖춘 VisualBERT) 대비 AUROC를 4.57%p 향상시켰다.
• ViLBERT 및 VisualBERT에 Sembedding을 추가한 결과, 맥락 전용 버전 대비 AUROC가 각각 4.77%p, 1.52%p 향상되었다.
• 공식 평가에서 CVL 모델은 66.2% 정확도와 75.02% AUROC를 기록하여 복잡하고 실제 세계적인 악성 멤에 샘플에 대해 강력한 일반화 능력을 보였다.
• 이중 스트림 아키텍처에서 자기주의 및 공통주의 어텐션 메커니즘의 조합이 미묘한 악성 신호를 이해하는 데 모델의 이해도를 향상시켰다.
• 제안된 샘플 증강 전략은 미리 보지 않은 데이터에 대한 견고성과 성능 향상에 기여하였다.