[논문 리뷰] Enhance Multimodal Transformer With External Label And In-Domain Pretrain: Hateful Meme Challenge Winning Solution

Ron Zhu|arXiv (Cornell University)|2020. 12. 15.

Hate Speech and Cyberbullying Detection참고 문헌 15인용 수 46

한 줄 요약

이 연구는 네 가지 비전-언어 트랜스포머를 앙상블하고 외부 레이블(entity/race/gender)과 도메인 내 사전학습을 보강하여 Hateful Meme Detection Challenge에서 우승하여 데이터셋에서 0.845 AUROC를 달성했다.

ABSTRACT

Hateful meme detection is a new research area recently brought out that requires both visual, linguistic understanding of the meme and some background knowledge to performing well on the task. This technical report summarises the first place solution of the Hateful Meme Detection Challenge 2020, which extending state-of-the-art visual-linguistic transformers to tackle this problem. At the end of the report, we also point out the shortcomings and possible directions for improving the current methodology.

연구 동기 및 목표

• 이미지-텍스트 페어를 넘어선 더 깊은 다중모달 이해를 통해 혐오 meme 탐지의 향상을 촉진한다.
• 외부 지식 단서(개체/인종/성별)를 도입하여 시각-언어 표현을 보강한다.
• 도메인 내 사전학습과 앙상블 방법을 활용하여 Hateful Memes 데이터세트에서 성능을 향상시킨다.
• 외부 레이블의 피드가 다양한 VL 트랜스포머 아키텍처와 어떻게 상호 작용하는지 평가한다.

제안 방법

• VL-BERT, UNITER, VILLA, ERNIE-Vil를 혐오 Meme 탐지를 위한 네 모델 앙상블로 확장한다.
• 외부 레이블을 이미지 영역과 연결된 특수 텍스트 토큰으로 표현하여 다중모달 백본과 융합한다.
• UNITER의 ITM 헤드를 재사용하여 해당 작업에 맞춘 이미지-텍스트 매칭 신호를 제공한다.
• Google Vision Web Entity Detection과 FairFace 레이블을 통해 데이터 소스에서 추가 정보를 추출한다.
• 외부 지식을 통합하기 위한 향후 연구로 지식 그래프 기반 접근법(예: MHGRN)의 가능성을 논의한다.

실험 결과

연구 질문

• RQ1 외부 레이블과 도메인 내 사전학습이 표준 VL 트랜스포머를 넘어서 혐오 Meme 탐지를 개선할 수 있는가?
• RQ2 외부 지식 단서가 다중모달 혐오 발화 작업에서 서로 다른 VL 아키텍처와 어떻게 상호 작용하는가?
• RQ3 사전 학습된 헤드(예: UNITER ITM)를 재사용하면 언어 편향이 줄어들고 일반화가 향상되는가?
• RQ4 추가 데이터 소스(웹 엔티티, 인구통계 속성)가 모델 성능에 기여하는 바는 무엇인가?

주요 결과

• 제안된 앙상블과 확장으로 혐오 Meme 데이터셋에서 0.845 AUROC를 달성했다.
• 개체/인종/성별 태깅을 적용하면 확장된 VL-BERT와 ERNIE-Vil의 dev-seen 성능이 크게 향상되었고(일부 단일 스트림 모델에서는 덜 향상되었다).
• UNITER ITM 헤드의 재사용은 임의 초기화에 비해 이점을 제공했다(dev-seen에서 0.778 vs 0.765 AUROC).
• ERNIe-Vil 및 VL-BERT는 교차 모달 융합의 이점으로 외부 레이블로부터 이점을 얻었으며, 아키텍처에 따라 결과가 달랐다.
• 이미지, 텍스트 및 외부 지식을 결합하는 중요성을 강조하며 향후 지식 그래프 기반 접근법의 가능성을 제시한다.