[논문 리뷰] UVCE-IIITT@DravidianLangTech-EACL2021: Tamil Troll Meme Classification: You need to Pay more Attention

Siddhanth U Hegde, Adeep Hande외 3명|arXiv (Cornell University)|2021. 04. 19.

Humor Studies and Applications참고 문헌 10인용 수 21

한 줄 요약

이 논문은 비트림(비트림) 기반의 다중모odal 트랜스포머 모델을 제안하며, 시각적 인식 모델(Vision Transformer, ViT)과 다국어 BERT(mBERT)를 결합하여 타밀 멤에를 트롤 또는 비트롤로 이진 분류한다. 이 모델는 후기 상호작용(fusion) 방식을 통해 시각적 및 텍스트적 특징을 융합하며, 검증 세트에서 F1 점수 0.96를 기록하지만, 이미지 내 텍스트 위치 편향 및 데이터 분포 변화로 인해 테스트 세트에서 성능이 급격히 떨어져 F1 점수 0.46에 머물렀다.

ABSTRACT

Tamil is a Dravidian language that is commonly used and spoken in the southern part of Asia. In the era of social media, memes have been a fun moment in the day-to-day life of people. Here, we try to analyze the true meaning of Tamil memes by categorizing them as troll and non-troll. We propose an ingenious model comprising of a transformer-transformer architecture that tries to attain state-of-the-art by using attention as its main component. The dataset consists of troll and non-troll images with their captions as text. The task is a binary classification task. The objective of the model is to pay more attention to the extracted features and to ignore the noise in both images and text.

연구 동기 및 목표

• 다국어, 다중모달 소셜 미디어 환경에서 타밀 인터넷 멤에를 트롤 또는 비트롤로 분류하는 과제를 해결하기 위해.
• 혐오 또는 오락성 있는 내용이 담긴 멤에에서 악성 콘텐츠나 비꼬임을 자동으로 탐지할 수 있는 견고한 시스템을 개발하기 위해.
• 저자원, 저자원 드라비디아어 언어의 멤에 분류에 시각 및 텍스트 트랜스포머를 융합하는 방법의 효과성을 조사하기 위해.
• 특히 이미지 전처리 기법, 즉 내장된 텍스트를 제거하기 위해 중심 자르기(center cropping)를 적용했을 때 모델의 일반화 능력과 성능에 미치는 영향을 분석하기 위해.

제안 방법

• ViT를 사용하여 이미지에서 텍스트를 제거하기 위해 중심 자르기를 수행한 후, 리사이징된(224×224) 타밀 멤에 이미지에 대해 ImageNet 사전학습 및 ImageNet 통계를 사용한 정규화를 거친 후, 미세조정(fine-tuned).
• 캡션을 전처리하여 불용어, 구두점, 특수문자를 제거하고, 토큰화한 후, mBERT(base-multilingual-cased)에 입력하여 맥락 기반 임베딩을 생성.
• ViT와 mBERT의 풀링 출력을 256차원 융합층을 통해 결합하고, 이후 ReLU 활성화 함수와 드롭아웃을 적용하여 정규화.
• 이중 분류(트롤/비트롤)를 위한 최종 분류기 헤드를 학습시키며, 교차 엔트로피 손실 함수와 선형 웜업 스케줄을 사용.
• 배치 크기를 16으로 설정하고, 4 에포크 동안 2e-5의 미세조정 학습률을 적용하며, 캡션의 입력 시퀀스 길이를 128 토큰으로 제한.
• 이미지 의미를 유지하기 위해 데이터 증강을 적용하지 않았으며, 이는 총 2,699개의 멤에로 이루어진 작은 데이터셋을 고려한 조치였다.

실험 결과

연구 질문

• RQ1 ViT와 mBERT를 융합한 다중모달 트랜스포머 아키텍처가 타밀 멤에를 트롤 또는 비트롤로 효과적으로 분류할 수 있는가?
• RQ2 중심 자르기를 통해 내장된 텍스트를 제거함으로써 시각 기반 멤에 분류 모델의 성능에 어떤 영향을 미치는가?
• RQ3 왜 검증 세트에서는 높은 성능을 기록했지만, 테스트 세트에서는 성능이 크게 떨어지는가?
• RQ4 후기 융합 방식으로 시각적 및 텍스트적 특징을 융합할 경우, 단일 모odal을 사용하는 것보다 분류 성능이 얼마나 향상되는가?
• RQ5 이미지 레이아웃의 분포 변화(예: 텍스트 위치)가 ViT 기반 모델의 새로운 멤에 데이터에 대한 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• ViT를 통해 이미지 특징만을 사용했을 때, 검증 세트에서 F1 점수 0.96를 기록하여 검증 분할에서 뛰어난 성능을 보였다.
• mBERT를 통해 캡션만을 기반으로 분류했을 때, F1 점수 0.93를 기록하여 텍스트 콘텐츠 자체가 매우 유용한 정보를 제공함을 시사했다.
• 검증 세트에서 완벽한 가중 F1 점수 1.00를 기록했음에도 불구하고, 테스트 세트에서는 F1 점수 0.46에 머물러 심각한 성능 저하를 보였다.
• 검증 세트와 테스트 세트 간의 성능 격차는 주로 텍스트의 위치 및 존재 여부에서 기인한 분포 변화 때문으로 분석되었다.
• 내장된 텍스트를 제거하기 위해 중심 자르기를 적용함으로써 검증 성능은 향상되었지만, 테스트 세트에서는 더 복잡하거나 다른 방식으로 배치된 텍스트가 많아 일반화 능력이 저하된 것으로 보인다.
• ViT와 mBERT의 특징를 후기 상호작용 방식으로 융합함으로써 성능 저하가 발생하지 않았고, 검증 정확도 향상에 기여했을 가능성이 있으나, 과적합을 완전히 완화하지 못했다.