[논문 리뷰] Multimodal and Explainable Internet Meme Classification

Abhinav Kumar Thakur, Filip Ilievski외 5명|arXiv (Cornell University)|2022. 12. 11.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 논문은 예시 기반 및 프로토타입 기반 추론을 사용하여 해로운 인터넷 멤에를 분류하기 위한 모듈식이고 설명 가능한 다중모odal 프레임워크를 제안한다. 최신 비전 및 언어 모델을 활용하여 높은 성능을 달성하면서도, 유사한 훈련 예시를 검색하고 비교하여 투명하고 인간이 이해할 수 있는 설명을 제공한다.

ABSTRACT

In the current context where online platforms have been effectively weaponized in a variety of geo-political events and social issues, Internet memes make fair content moderation at scale even more difficult. Existing work on meme classification and tracking has focused on black-box methods that do not explicitly consider the semantics of the memes or the context of their creation. In this paper, we pursue a modular and explainable architecture for Internet meme understanding. We design and implement multimodal classification methods that perform example- and prototype-based reasoning over training cases, while leveraging both textual and visual SOTA models to represent the individual cases. We study the relevance of our modular and explainable models in detecting harmful memes on two existing tasks: Hate Speech Detection and Misogyny Classification. We compare the performance between example- and prototype-based methods, and between text, vision, and multimodal models, across different categories of harmfulness (e.g., stereotype and objectification). We devise a user-friendly interface that facilitates the comparative analysis of examples retrieved by all of our models for any given meme, informing the community about the strengths and limitations of these explainable methods.

연구 동기 및 목표

• 인터넷 멤이 혐오 발언과 성차별을 퍼뜨리는 데 점점 더 널리 사용됨에 따라, 사회 미디어에서의 확장 가능하고 공정한 콘텐츠 모니터링 도전 과제를 해결한다.
• 훈련 예시와 프로토타입에 기반한 설명 가능한 추론을 도입하여 멤 분류에서 블랙박스 모델의 한계를 극복한다.
• 최신 비전 및 언어 모델에서 유도된 다중모달 표현을 사례 기반 추론과 결합하여 성능을 훼손하지 않으면서도 해석 가능성의 향상을 도모하는 방법을 탐구한다.
• 사용자 친화적인 인터페이스를 제공하여 모델 예측의 비교 분석을 가능하게 하여 이해관계자가 설명 가능한 방법의 강점과 한계를 평가할 수 있도록 한다.
• MAMI 및 Hateful Memes와 같은 데이터셋에서의 주관적 레이블링 영향을 검토하고, 정확한 멤 이해에 있어 맥락적 및 문화적 지식의 역할을 분석한다.

제안 방법

• 최신 비전(예: CLIP, ViLBERT) 및 언어 모델(예: BERT 기반)을 통합하는 모듈식 아키텍처를 활용하여 다중모달 특징 추출을 수행한다.
• 학습된 다중모달 임베딩 기반으로 유사한 훈련 멤을 검색하여 예측을 설명하는 예시 기반 추론을 구현한다.
• 각 클래스에 대한 대표적인 프로토타입을 학습하여 클래스별 예시와의 비교를 통한 분류를 가능하게 하는 프로토타입 기반 추론을 적용한다.
• 대비 학습과 임베딩 유사도 측정 기법(예: 코사인 유사도)을 사용하여 설명에 적합한 훈련 케이스를 식별한다.
• 사용자가 예시 기반, 프로토타입 기반, 다중모달 모델의 예측를 검토하고 대조할 수 있도록 비교 시각화 인터페이스를 설계한다.
• 혐오 발언 및 성차별 분류 작업에 중점을 두고, Hateful Memes 및 MAMI 두 개의 벤치마크 데이터셋에서 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 예시 기반 및 프로토타입 기반 추론은 높은 정확도를 유지하면서도 다중모달 멤 분류의 해석 가능성 향상에 기여하는가?
• RQ2 시각 모델, 텍스트 모델, 다중모달 모델은 해로움의 다양한 유형(예: 대상화, 고정관념화)에 대해 어떻게 비교되는가?
• RQ3 훈련 예시에 기반한 설명 가능한 방법은 블랙박스 모델에 비해 사용자 이해도와 모델 예측에 대한 신뢰도를 얼마나 향상시키는가?
• RQ4 MAMI 및 Hateful Memes와 같은 데이터셋에서의 주관적 레이블링 편향은 모델 성능과 설명의 신뢰성에 어떤 영향을 미치는가?
• RQ5 맥락적 및 문화적 지식은 인터넷 멤의 정확한 해석에 어떤 역할을 하는가? 그리고 이를 설명 가능한 AI 프레임워크에 어떻게 통합할 수 있는가?

주요 결과

• 예시 기반 방법이 정확도와 해석 가능성 측면에서 프로토타입 기반 방법을 모두 앞서며, 최종 사용자에게 더 직관적이고 실천 가능한 설명을 제공했다.
• 비전 모델만으로도 텍스트 모델만으로는 더 높은 성능을 달성하여, 멤 분류에서 시각적 단서가 더 분류에 유의미한 영향을 미친다는 것을 시사한다.
• 비전과 언어 표현의 다중모달 융합이 가장 우수한 종합 성능을 보였으며, 이는 다양한 모odal 간의 조합이 중요하다는 것을 확인한다.
• MAMI 데이터셋의 평가자 간 일치도 점수가 낮아, 성차별적이고 혐오스러운 콘텐츠 레이블링의 주관성과 이로 인한 훈련 데이터의 편향을 드러냈다.
• 사용자 친화적인 인터페이스를 통해 모델 예측의 효과적인 비교 분석이 가능했으며, 다양한 멤 유형에서 각 모델의 강점과 한계를 파악할 수 있었다.
• 레이블링의 주관성 도전 과제에도 불구하고, 제안된 프레임워크는 실세계 콘텐츠 모니터링에 있어 설명 가능한 다중모달 분류가 가능하고 효과적이라는 것을 입증했다.