[논문 리뷰] NLP-CUET@DravidianLangTech-EACL2021: Investigating Visual and Textual Features to Identify Trolls from Multimodal Social Media Memes

Eftekhar Hossain, Omar Sharif외 1명|arXiv (Cornell University)|2021. 02. 28.

Misinformation and Its Impacts참고 문헌 19인용 수 10

한 줄 요약

이 논문은 드라비디안 언어 소셜 미디어에서 트롤 멤을 감지하기 위해 시각적, 텍스처적, 통합 기능을 활용한 다중모odal 접근법을 제시한다. XLNet, VGG16, Inception 등의 모델을 사용한 전이 학습을 통해 영문 캡션을 활용해 최고의 가중 F1 스코어 0.58을 기록했으며, EACL-2021 공동 과제에서 3위를 차지했다.

ABSTRACT

In the past few years, the meme has become a new way of communication on the Internet. As memes are the images with embedded text, it can quickly spread hate, offence and violence. Classifying memes are very challenging because of their multimodal nature and region-specific interpretation. A shared task is organized to develop models that can identify trolls from multimodal social media memes. This work presents a computational model that we have developed as part of our participation in the task. Training data comes in two forms: an image with embedded Tamil code-mixed text and an associated caption given in English. We investigated the visual and textual features using CNN, VGG16, Inception, Multilingual-BERT, XLM-Roberta, XLNet models. Multimodal features are extracted by combining image (CNN, ResNet50, Inception) and text (Long short term memory network) features via early fusion approach. Results indicate that the textual approach with XLNet achieved the highest weighted $f_1$-score of $0.58$, which enabled our model to secure $3^{rd}$ rank in this task.

연구 동기 및 목표

• 다중모달 소셜 미디어 콘텐츠, 특히 드라비디안 언어 환경에서 트롤 멤을 식별하기 위한 계산 모델을 개발하는 것.
• 전이 학습을 활용하여 시각적, 텍스처적, 다중모달 특징의 효과성을 조사하는 것.
• 타밀어 혼합 멤 데이터셋에서 다양한 사전학습 모델(CNN, VGG16, Inception, XLNet, m-BERT, XLM-RoBERTa)의 성능을 평가하는 것.
• 불균형 데이터셋에서 모델의 편향과 한계를 분석하며, 특히 트롤 멤을 과도하게 분류하는 경향을 다루는 것.
• 이미지 및 텍스트 특징을 통합하는 초기 융합 전략을 탐색하여 다중모달 분류 성능을 향상시키는 것.

제안 방법

• 타밀어 혼합 텍스트가 포함된 이미지에서 시각적 특징 추출기(CNN, VGG16, Inception)를 훈련시어 공간적 및 의미적 패턴을 포착하는 것.
• 변환기 기반 모델(XLNet, m-BERT, XLM-RoBERTa, XLNet)을 사용해 영문 캡션에서 텍스트 특징을 추출하며, 문맥적 표현 능력을 활용하는 것.
• 초기 융합을 통해 시각적 및 텍스트적 특징을 통합하며, 분류 이전에 이미지 및 텍스트 임베딩을 연결하는 방식.
• 텍스트 캡션의 순차적 의존성을 모델링하기 위해 BiLSTM 네트워크를 사용하며, 다중모달 융합 파이프라인에 통합하는 것.
• ImageNet 사전학습 모델(예: ResNet50, Inception)과 다국어 BERT 변종을 사용한 전이 학습을 통해 저자원 데이터에서의 일반화 능력을 향상시키는 것.
• 가중 F1 스코어, 정밀도, 재현율을 사용해 모델을 평가하며, 검증 세트 성능 기반으로 모델 선택을 수행하는 것.

실험 결과

연구 질문

• RQ1 코드 믹스된 타밀어 소셜 미디어 이미지에서 트롤 멤을 분류할 때, 시각적 단일모델, 텍스트 단일모델, 다중모달 모델 간의 성능은 어떻게 비교되는가?
• RQ2 저자원 다국어 환경에서 트롤 감지에 있어, XLNet, m-BERT, XLM-RoBERTa 중 어떤 사전학습 언어 모델이 영문 캡션에서 가장 우수한 성능을 보이는가?
• RQ3 시각적 및 텍스트적 특징을 초기 융합하는 것이 단일모달 접근법보다 분류 성능을 향상시키는가?
• RQ4 모델이 멤을 '트롤'로 강하게 분류하는 이유는 무엇이며, 데이터 불균형과 누락된 캡션은 어떤 역할을 하는가?
• RQ5 클래스 간에 겹치는 시각적 패턴이 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?

주요 결과

• XLNet 기반 텍스트 모델이 가장 높은 가중 F1 스코어 0.583을 기록하며, 모든 시각적 및 다중모달 모델을 압도하며 공동 과제에서 3위를 차지했다.
• 시각적 모델(CNN, VGG16, Inception)은 약 0.46의 F1 스코어를 기록했으며, Inception은 약간 더 높은 정밀도(0.625)와 재현율(0.597)을 보였다.
• 초기 융합을 사용한 다중모달 모델(Inception + BiLSTM)은 F1 스코어 0.559를 기록하며, 시각적 단일모델보다 성능 향상을 보였지만, 최고의 텍스트 모델에 비해 여전히 열등했다.
• 단일언어 모델인 XLNet은 다국어 모델인 m-BERT(F1: 0.558)와 XLM-RoBERTa(F1: 0.571)를 모두 앞서며, 데이터셋의 영문 캡션 덕분으로 성능이 뛰어났다.
• 모든 모델이 '트롤' 클래스로 향한 심각한 편향을 보였으며, '트롤이 아님' 멤의 70% 이상이 잘못 분류되어 트롤로 간주되었는데, 주로 데이터 불균형과 캡션 누락 때문이었다.
• 오류 분석 결과, 최고의 다중모달 모델(Inception + BiLSTM)이 395개의 트롤 멤 중 71개를 '트롤이 아님'으로 잘못 분류했으며, 272개의 '트롤이 아님' 멤 중 200개가 잘못 '트롤'로 레이블링되어, 강한 클래스 불균형 문제를 확인했다.