[논문 리뷰] DisinfoMeme: A Multimodal Dataset for Detecting Meme Intentionally Spreading Out Disinformation

Jingnong Qu, Liunian Harold Li외 3명|arXiv (Cornell University)|2022. 05. 25.

Misinformation and Its Impacts인용 수 7

한 줄 요약

이 논문은 코로나19, 블랙라이브스매터, 비건주의와 관련된 디스인포메이션을 대상으로 한 1,170개의 주석이付けられた 레딧 멤에 대한 다중모odal 데이터셋인 DisinfoMeme을 소개한다. 여러 단일모달 및 다중모달 모델을 테스트했음에도 성능은 여전히 만족스럽지 않으며, 디스인포메이션 탐지에서 다중모달 추론, 레이아웃 이해, 외부 지식 통합 향상에 큰 여지가 있음을 드러낸다.

ABSTRACT

Disinformation has become a serious problem on social media. In particular, given their short format, visual attraction, and humorous nature, memes have a significant advantage in dissemination among online communities, making them an effective vehicle for the spread of disinformation. We present DisinfoMeme to help detect disinformation memes. The dataset contains memes mined from Reddit covering three current topics: the COVID-19 pandemic, the Black Lives Matter movement, and veganism/vegetarianism. The dataset poses multiple unique challenges: limited data and label imbalance, reliance on external knowledge, multimodal reasoning, layout dependency, and noise from OCR. We test multiple widely-used unimodal and multimodal models on this dataset. The experiments show that the room for improvement is still huge for current models.

연구 동기 및 목표

• 소셜 미디어에서 퍼지는 바이러스성 다중모달 멤에 의한 디스인포메이션 확산 증가 문제를 다루기 위해.
• 디스인포메이션 멤의 고유한 다중모달성 및 맥락적 과제를 반영한 집중적이고 주제별 데이터셋을 구축하기 위해.
• 의도적으로 오해의 소지가 있는 멤을 탐지하는 데 있어 다중모달 모델 평가의 기준을 제공하기 위해.
• 현재 모델이 디스인포메이션 탐지에서 시각적 및 텍스처적 모달을 효과적으로 활용하는 데에 한계가 있음을 드러내기 위해.

제안 방법

• 데이터셋은 코로나19, 블랙라이브스매터, 비건주의와 관련된 서브레딧 게시물을 채굴하여 구축되었다.
• 주석은 아마존 메카니컬 터크를 통해 멤을 디스인포메이션 또는 비디스인포메이션으로 레이블링하여 인간 검증 기반 참값을 확보했다.
• 데이터셋에는 1,170개의 주석이付け진 멤과 30,302개의 주석이 없는 이미지가 포함되어 있어, 약한 지도 학습 또는 비지도 학습 접근법을 지원한다.
• VisualBERT, ViLBERT, CLIP 등의 다양한 단일모달 및 다중모달 비전-언어 모델을 미세조정하고 데이터셋에서 평가했다.
• 모델 성능 평가에는 ROC AUC를 사용하였으며, 레이블 불균형, OCR 노이즈, 레이아웃 의존성, 외부 지식 의존성 등의 과제를 분석했다.
• 일반화 능력과 도메인 이동을 평가하기 위해 Hateful Memes 데이터셋에서의 전이 학습도 시험했다.

실험 결과

연구 질문

• RQ1 주제별 데이터셋에서 현재의 다중모달 모델은 단일모달 기반 모델 대비 멤의 디스인포메이션 탐지 성능이 얼마나 우수한가?
• RQ2 레이아웃, OCR 노이즈, 외부 지식은 다중모달 디스인포메이션 탐지 모델의 성능에 어느 정도 영향을 미치는가?
• RQ3 혐오성 멤에 대해 사전학습한 모델은 다른 사회적 맥락에서의 디스인포메이션 멤 탐지에 일반화 가능한가?
• RQ4 데이터 부족과 레이블 불균형은 디스인포메이션 멤 탐지에서 모델 성능에 어떤 영향을 미치는가?
• RQ5 기존 모델이 멤의 이미지-텍스트 조합에 대해 추론할 때 나타나는 주요 실패 유형은 무엇인가?

주요 결과

• 현재의 다중모달 모델은 DisinfoMeme에서 낮은 성능을 보이며, 최고 성능 모델조차도 ROC AUC 점수가 0.75 이하에 머물러 있어 향후 향상 여지가 크다는 것을 시사한다.
• 다중모달 모델는 단일모달 모델보다 약간 우수하거나 때로는 성능이 열 劣하는 경향이 있어, 디스인포메이션 탐지에서 시각적 및 텍스처적 신호의 융합이 열악하다는 것을 시사한다.
• Hateful Memes 데이터셋에서의 전이 학습은 성능 저하를 초래하여 두 작업 간 의미론적 차이와 요구되는 추론 방식의 상당한 차이를 시사한다.
• 한 주제(예: 코로나19)에서 학습한 모델은 다른 주제(예: BLM 또는 비건주의)로 일반화하는 데에 뚜렷한 성능 저하를 보이며, 디스인포메이션 멤 탐지의 주제 의존성 특성을 드러낸다.
• 학습 곡선 분석 결과 더 많은 데이터로 학습할수록 성능 향상이 계속됨을 확인하여, 이 데이터셋이 향후 다중모달 연구에 의미 있고 확장 가능한 과제임을 확인한다.