[논문 리뷰] Do Images really do the Talking? Analysing the significance of Images in Tamil Troll meme classification

Siddhanth U Hegde, Adeep Hande외 6명|arXiv (Cornell University)|2021. 08. 09.

Hate Speech and Cyberbullying Detection참고 문헌 38인용 수 8

한 줄 요약

이 연구는 타밀 인터넷 멤에이의 시각적 특징이 트롤 vs. 비트롤 콘텐츠 분류에 유의미하게 기여하는지 조사한다. 텍스트 전용(unimodal) 및 텍스트 + 이미지 복합형(multimodal) 접근법을 조합한 연구에서, XLM을 미세조정한 텍스트 모델과 교차 주의(multimodal transformers with cross-attention)를 사용하였으며, 작은 텍스트 중심 데이터셋에서는 시각적 특징이 성능 향상에 기여하지 못하는 것으로 나타났다. 최고의 성능을 보인 모델인 XLM의 가중 F1 스코어는 0.57이며, 이미지 텍스트 간섭과 데이터 부족으로 인해 복합형 모델은 성능이 열 劣하다. 이는 이 작업에 대해 텍스트 전용 분석이 더 효과적임을 시사한다.

ABSTRACT

A meme is an part of media created to share an opinion or emotion across the internet. Due to its popularity, memes have become the new forms of communication on social media. However, due to its nature, they are being used in harmful ways such as trolling and cyberbullying progressively. Various data modelling methods create different possibilities in feature extraction and turning them into beneficial information. The variety of modalities included in data plays a significant part in predicting the results. We try to explore the significance of visual features of images in classifying memes. Memes are a blend of both image and text, where the text is embedded into the image. We try to incorporate the memes as troll and non-trolling memes based on the images and the text on them. However, the images are to be analysed and combined with the text to increase performance. Our work illustrates different textual analysis methods and contrasting multimodal methods ranging from simple merging to cross attention to utilising both worlds' - best visual and textual features. The fine-tuned cross-lingual language model, XLM, performed the best in textual analysis, and the multimodal transformer performs the best in multimodal analysis.

연구 동기 및 목표

• 타밀 트롤 멤에이의 분류에 있어 이미지에서 유도된 시각적 특징이 유의미하게 향상되는지 확인하는 것.
• 멤에이 분류를 위한 단모달(텍스트 전용)과 복합형(텍스트 + 이미지) 접근법을 비교하는 것.
• 저자원 환경에서 사전학습된 시각 모델(예: ResNet, ViT)과 복합형 트랜스포머의 효과성을 평가하는 것.
• 저자원, 코드 혼합 타밀 데이터셋에서 이미지에 내장된 텍스트로 인한 복합학습의 한계를 규명하는 것.
• 제한된 데이터에서 복합형 통합이 멤에이 분류 작업에 정당화되는지에 대한 근거 기반 지침을 제공하는 것.

제안 방법

• 코드 혼합 타밀 멤에이의 텍스트 특징 추출을 위해 다국어 XLM-RoBERTa 모델을 미세조정하였다.
• ImageNet으로 사전학습된 시각 모델(ResNet, Vision Transformer)을 사용해 멤에이 이미지의 시각적 특징을 추출하였다.
• 텍스트 및 시각적 특징을 간단한 연결(concatenation), 요소별 덧셈(element-wise addition), 그리고 복합형 트랜스포머의 교차 주의(multimodal transformers with cross-attention) 기반으로 융합하였다.
• 약 1,154개의 타밀 IWT(이미지 + 텍스트) 멤에이로 구성된 데이터셋을 사용해 모델을 훈련 및 평가하였으며, 훈련, 검증, 테스트 세트로 분할하였다.
• 소규모 데이터셋에서 과적합을 방지하기 위해 전이학습 및 미세조정을 적용하였으며, Adam 옵timizer와 조기 정지(early stopping)를 사용하였다.
• 특히 텍스트가 많은 이미지로 인한 실패 원인을 이해하기 위해 잘못 분류된 예시에 대한 오류 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 멤에이에서 시각적 특징을 통합함으로써 타밀 트롤 분류 모델의 성능이 향상되는가?
• RQ2 다양한 복합형 융합 전략(연결, 주의, 조기/후기 융합)이 단모달 텍스트 전용 모델보다 어떻게 비교되는가?
• RQ3 이론적으로 유리한 점이 있음에도 불구하고, 시각적 특징이 분류에 유의미하게 기여하지 못하는 이유는 무엇인가?
• RQ4 멤에이 이미지에 내장된 텍스트가 사전학습된 모델이 시각적 특징을 추출하는 데 얼마나 간섭하는가?
• RQ5 저자원, 코드 혼합 멤에이 데이터셋에서 단모달 텍스트 기반 분류가 복합형 접근보다 더 효과적인가?

주요 결과

• 단모달 XLM 모델이 가장 높은 성능을 보이며, 가중 F1 스코어 0.57을 기록하여 모든 복합형 모델을 앞섰다.
• 교차 주의 기반 복합형 트랜스포머는 가중 F1 스코어 0.55를 기록하여 간단한 융합 방법보다는 약간의 향상만 보였다.
• ImageNet으로 사전학습된 모델에서 유도된 시각적 특징은 성능 향상에 유의미하게 기여하지 못했으며, 이는 이미지 내 텍스트 간섭으로 인한 것으로 보인다.
• 테스트 세트의 많은 이미지에서 텍스트가 전체 영역에 분포해 있어, 시각 모델이 텍스트를 의미 있는 시각적 콘텐츠가 아닌 노이즈로 간주하였다.
• 소규모 데이터셋 크기(1,154장의 훈련 이미지)와 이미지 콘텐츠의 높은 변동성, 특히 융합되거나 겹치는 텍스트로 인해 시각적 특징 학습이 어려웠다.
• 복합형 모델, 특히 복합형 트랜스포머와 같은 복잡한 아키텍처에서는 제한된 데이터와 높은 모델 용량으로 인해 과적합 현상이 관찰되었다.