[논문 리뷰] Classification of Multimodal Hate Speech -- The Winning Solution of Hateful Memes Challenge

Xiayu Zhong|arXiv (Cornell University)|2020. 12. 02.

Hate Speech and Cyberbullying Detection참고 문헌 16인용 수 13

한 줄 요약

이 논문은 사전 훈련된 시각-언어 모델(예: VisualBERT)과 데이터 기반 규칙을 결합한 하이브리드 다중모odal 혐오 발언 분류 모델을 제시한다. 이는 Hateful Memes 챌린지에서 최고 성능을 기록한다. 어려운 '3-tuple' 및 '2-tuple' 멤에 대해 훈련 데이터에서 규칙을 추출하고, MRM 미세조정을 적용하며, 모델 앙상블를 위한 K-폴드 교차검증을 사용함으로써, 86.8%의 정확도와 0.923의 AUROC를 달성하여 대회에서 1등을 기록하였다.

ABSTRACT

Hateful Memes is a new challenge set for multimodal classification, focusing on detecting hate speech in multimodal memes. Difficult examples are added to the dataset to make it hard to rely on unimodal signals, which means only multimodal models can succeed. According to Kiela,the state-of-the-art methods perform poorly compared to humans (64.73% vs. 84.7% accuracy) on Hateful Memes. I propose a new model that combined multimodal with rules, which achieve the first ranking of accuracy and AUROC of 86.8% and 0.923 respectively. These rules are extracted from training set, and focus on improving the classification accuracy of difficult samples.

연구 동기 및 목표

• 비디오-텍스트 상호작용이 중요한 미묘하고 맥락 의존적인 혐오 발언을 다중모달 멤에서 분류하는 데 도전한다. 단일모달 신호만으로는 부족하기 때문이다.
• 고립된 신호가 아닌 이미지-텍스트 상호작용에 의존하는 모호하고 어려운 멤에 대해 성능을 향상시킨다.
• 기존의 다중모달 모델이 희귀하거나 복잡한 멤 패턴을 다루는 데 한계를 보일 경우, 규칙 기반 후처리 및 데이터 증강을 통해 이를 극복한다.
• 제한된 레이블 데이터를 가진 실세계의 극도로 불균형한 다중모달 분류 설정에서 AUROC와 정확도를 최대화한다.

제안 방법

• 혐오 멤에 대한 데이터셋에서 시각적 특징 표현 학습을 향상시키기 위해, MRM(Masked Region Modeling)를 사용해 VisualBERT를 미세조정한다.
• 특히 반복된 이미지나 텍스트를 가진 '3-tuple' 및 '2-tuple' 멤을 대상으로 훈련 데이터에서 분류 규칙을 추출하여 의사 레이블을 생성한다.
• 규칙로 레이블링된 '3-tuple' 테스트 샘플을 훈련 세트에 주입함으로써 준지도 학습을 적용하여 모델의 일반화 능력을 향상시킨다.
• 모델 앙상블 전에 규칙 기반 확률 보정을 적용하였으며, 사전 보정이 후처리 보정보다 더 효과적임을 확인하였다.
• 20개의 별도 모델(4개의 기본 모델 × 5개의 폴드)을 사용한 5-폴드 교차검증을 실시하고, 최종 앙상블 예측을 위해 단순 등가중 평균을 적용하였다.
• 과적합을 줄이고 강건성을 향상시키기 위해, 20개의 기본 모델 예측을 등가중 평균으로 조합하는 모델 앙상블 기법을 사용하였다.

실험 결과

연구 질문

• RQ1 규칙 기반 후처리가 어려운, 모호한 멤에 대한 다중모달 혐오 발언 탐지 성능을 크게 향상시킬 수 있는가?
• RQ2 규칙으로 추출한 의사 레이블을 통한 준지도 학습 데이터 주입 방식이 제한된 훈련 데이터 상황에서 모델 성능을 얼마나 향상시킬 수 있는가?
• RQ3 기존의 표준 미세조정 방식과 비교해, 사전 훈련된 VisualBERT에 MRM을 적용하면 Hateful Memes 벤치마크에서 성능이 향상되는가?
• RQ4 기본 모델에 조기에 규칙 적용(기본 모델에서의 보정)과 스태킹 예측 후에 적용(후처리 보정) 중 어느 것이 AUROC와 정확도 향상에 더 효과적인가?
• RQ5 딥 러닝과 상징적 규칙을 융합한 하이브리드 접근 방식이 순수 신경망 모델보다 다중모달 혐오 발언 탐지에서 성능을 뛰어나게 할 수 있는가?

주요 결과

• 하이브리드 모델은 86.8%의 정확도와 0.923의 AUROC를 달성하여 Hateful Memes 챌린지에서 1등을 기록하였다.
• VisualBERT에 MRM 적용으로 최고 성능를 보인 변형에서 AUROC가 0.726에서 0.740으로 향상되어 효과가 입증되었다.
• '3-tuple' 멤에 대한 규칙 기반 레이블링이 AUROC와 정확도를 각각 10% 이상 향상시켜 준지도 학습 데이터 주입의 가치를 입증하였다.
• 모델 앙상블 전에 Rule 2를 적용한 예측 보정이 AUROC를 3.2% 향상시켜 후처리 보정보다 더 뛰어난 성능을 보였다.
• 20개의 교차검증된 모델의 등가중 평균이 로지스틱 회귀나 MLP와 같은 더 복잡한 앙상블 방법보다 성능이 뛰어났다.
• 특히 '3-tuple' 및 '2-tuple' 멤에 대해 성능 향상이 뚜렷했으며, 이는 규칙 기반 추론이 다중모달 NLP에서 딥 러닝과 보완적 역할을 할 수 있음을 보여준다.