[논문 리뷰] Detecting Hateful Memes Using a Multimodal Deep Ensemble

Vlad Sandulescu|arXiv (Cornell University)|2020. 12. 24.

Hate Speech and Cyberbullying Detection참고 문헌 15인용 수 27

한 줄 요약

이 논문은 비선형적 시각-언어적 트랜스포머—특히 UNITER에 새로운 이중 방향 교차 attention 메커니즘을 통합한—다중모odal 딥 앙상블 모델을 제안한다. 이 모델은 악성 멤에 대한 탐지에 최첨단 성능을 달성했으며, 페이스북 AI 악성 멤 랭킹에서 AUROC 79.43%와 테스트 세트에서 정확도 74.30%로 5위를 기록했다.

ABSTRACT

While significant progress has been made using machine learning algorithms to detect hate speech, important technical challenges still remain to be solved in order to bring their performance closer to human accuracy. We investigate several of the most recent visual-linguistic Transformer architectures and propose improvements to increase their performance for this task. The proposed model outperforms the baselines by a large margin and ranks 5$^{th}$ on the leaderboard out of 3,100+ participants.

연구 동기 및 목표

• 시각적 및 텍스처적 신호를 통합하는 다중모달 딥 러닝 모델을 활용해 악성 멤에 대한 탐지 성능을 향상시키기 위해.
• 악성 멤 분류에 대한 미세조정 성능에 영향을 주는 사전 훈련 데이터셋의 다양성 영향을 조사하기 위해.
• OCR로 추출한 텍스트와 모델이 유추한 이미지 캡션을 융합하는 새로운 이중 방향 교차 주의 메커니즘을 개발하고 평가하기 위해.
• Hateful Memes 데이터셋에서 단일 모델 예측을 초월해 성능을 향상시키는 데에 딥 앙상블의 효과를 입증하기 위해.
• 이미지 또는 텍스트의 변형으로 인해 레이블이 뒤바뀌는 유사한 배경 요인(유해하지 않은 요소)에 대응하기 위해 모델의 강건성을 향상시키기 위해.

제안 방법

• Hateful Memes 데이터셋에서 최첨단 단일 스트림(VL-BERT, VLP, UNITER) 및 이중 스트림(LXMERT) 시각-언어적 트랜스포머 아키텍처를 미세조정하였다.
• OCR로 추출한 멤에 텍스트와 시각 인식기에서 유도된 이미지 캡션 예측 간의 정렬을 향상시켜 다중모달 융합을 개선하기 위해 이중 방향 교차 주의 메커니즘을 제안하였다.
• 다른 무작위 시드로 모델 훈련을 반복하고 여러 모델의 예측을 평균내어 딥 앙상블을 훈련시켰다.
• 사전 훈련된 모델을 선택할 때, 사전 훈련 데이터셋(예: COCO, Conceptual Captions)과 Hateful Memes 데이터셋 간의 도메인 유사성 기반으로 선택하였다.
• 앙상블 내 여러 모델의 예측을 평균내어 최종 분류를 도출하기 위해 후기 융합 전략을 사용하였다.
• 데이터셋 크기와 모델 아키텍처에 따라 학습 초기화 하이퍼파라미터(학습률, 학습 스텝 수 등)를 최적화하였다.

실험 결과

연구 질문

• RQ1 다양한 사전 훈련 데이터셋이 악성 멤 탐지에서 시각-언어적 트랜스포머의 성능에 어떤 영향을 미치는가?
• RQ2 OCR 텍스트와 모델이 생성한 이미지 캡션 간의 이중 방향 교차 주의 메커니즘이 분류 정확도 향상에 기여하는가?
• RQ3 단일 모델 대비 Hateful Memes 벤치마크에서 모델 앙상블이 성능 향상에 얼마나 기여하는가?
• RQ4 왜 제안된 교차 주의 메커니즘이 UNITER에는 효과가 있지만 VL-BERT나 LXMERT와 같은 다른 모델에는 효과가 없는가?
• RQ5 다중모달 모델의 성능는 단일모달 기준선 및 인간 수준의 성능에 비해 Hateful Memes 데이터셋에서 어떻게 비교되는가?

주요 결과

• UNITER LARGE+PA 모델의 딥 앙상블이 가장 높은 성능을 기록했으며, 테스트 세트에서 AUROC 79.43%와 정확도 74.30%를 달성했다.
• UNITER PA 앙상블 모델은 단일 모델의 AUROC 75.29%에서 앙상블로 76.81%로 향상되어 모델 다양성의 가치를 입증했다.
• Conceptual Captions(CC) 및 COCO 데이터셋에서 사전 훈련된 단일 스트림 모델이 이중 스트림 모델 및 모든 제공된 기준선을 능가했다.
• UNITER에 이중 방향 교차 주의 메커니즘을 적용했을 때 AUROC가 1.15%p 상승하여 74.14%에서 75.29%로 향상되었다.
• 더 고품질이고 노이즈가 적은 데이터셋(COCO)에서 사전 훈련을 수행한 모델가 더 높은 성능을 보였으며, 노이즈가 많은 데이터셋(SBU, GQA)보다 성능이 뛰어났다.
• 작은 Hateful Memes 데이터셋에서 대규모 모델을 라이트 훈련으로부터 시작해 훈련시켰을 경우 성능이 열악했으며, 이는 전이 학습의 필요성을 확인시켰다.