[논문 리뷰] BLUE at Memotion 2.0 2022: You have my Image, my Text and my Transformer

Ana-Maria Bucur, Adrian Cosma외 1명|arXiv (Cornell University)|2022. 02. 15.

Sentiment Analysis and Opinion Mining인용 수 7

한 줄 요약

이 논문은 MEMOTION 2.0 2022 공동 과제에서 팀 BLUE의 우승 전략을 제시하며, 텍스트 전용 BERT 기반 방법과 이미지 및 텍스트 특징을 융합하는 다중모odal-다중작업(MMT) 트랜스포머를 제안한다. CLIP와 CORAL을 활용한 순서형 회귀를 통한 MMT 모델은 감성 분석에서 1등(F1=0.5318), 유머 감지에서 2등(F1=0.8059), 속마음/모욕성 태스크에서 3등을 기록했으며, 모든 과제에서 가장 높은 평균 점수를 기록했다.

ABSTRACT

Memes are prevalent on the internet and continue to grow and evolve alongside our culture. An automatic understanding of memes propagating on the internet can shed light on the general sentiment and cultural attitudes of people. In this work, we present team BLUE's solution for the second edition of the MEMOTION shared task. We showcase two approaches for meme classification (i.e. sentiment, humour, offensive, sarcasm and motivation levels) using a text-only method using BERT, and a Multi-Modal-Multi-Task transformer network that operates on both the meme image and its caption to output the final scores. In both approaches, we leverage state-of-the-art pretrained models for text (BERT, Sentence Transformer) and image processing (EfficientNetV4, CLIP). Through our efforts, we obtain first place in task A, second place in task B and third place in task C. In addition, our team obtained the highest average score for all three tasks.

연구 동기 및 목표

• 감성, 유머, 풍자, 모욕성, 동기 부여 등 다양한 요소에 대해 정교한 멤버 분류를 위한 강력한 다중모달 모델 개발
• 최신 사전학습된 모델을 활용한 텍스트 및 시각적 특징 융합의 효과성 탐구: 다중모달 멤버 이해 분야에서의 적용
• 다양한 모달 조합 및 특징 추출기(예: CLIP, EfficientNetV4)가 분류 성능에 미치는 영향 평가
• CORAL을 활용한 도메인 적응 기법을 통한 순서형 회귀를 통한 멤버 감정 강도 예측 과제 해결
• 자기지도 사전학습 및 어휘 정규화를 통한 노이즈가 많은 불균형 멤버 데이터셋에서의 일반화 능력 향상

제안 방법

• 멤버에서 추출한 텍스트 캡션에 대해 BERT와 Sentence Transformers를 미세조정하여 텍스트 전용 분류 수행
• EfficientNetV4와 BERT에서 유도된 이미지 및 텍스트 임베딩을 함께 처리하는 다중모달-다중작업(MMT) 트랜스포머 설계
• 다중모달 표현 학습 향상을 위해 CLIP 특징을 추가적인 시각적 인코더로 통합
• 감정 강도 수준(예: 유머, 풍자) 예측을 위한 순서형 회귀에 CORAL(도메인 적응) 적용
• 모달 조합(텍스트 전용, 이미지 전용, CLIP 전용, 융합)에 대한 추론 실험을 통해 특징 기여도 평가
• 모든 과제에서 주로 가중 F1 점수를 사용하며, 최종 제출을 위해 앙상블 및 하이퍼파라미터 튜닝 수행

실험 결과

연구 질문

• RQ1 텍스트 전용 BERT 기반 접근법이 멤버 감성 및 감정 분류에서 다중모달 모델 대비 어떻게 성능을 내는가?
• RQ2 다양한 멤버 분류 과제에서 이미지, 텍스트, CLIP 특징이 각각 성능에 기여하는 비율은 어떻게 되는가?
• RQ3 CORAL 기반 도메인 적응 기법이 멤버의 감정 강도 수준 예측을 위한 순서형 회귀 성능을 향상시킬 수 있는가?
• RQ4 모든 멤버 감정 과제에 일반화되는 최적의 모달 조합이 존재하는가, 아니면 과제별로 성능이 다를까?
• RQ5 자기지도 사전학습 및 어휘 정규화가 노이즈가 많고 불균형한 멤버 데이터셋에서의 강인성 향상에 기여하는가?

주요 결과

• 이미지, 텍스트, CLIP 특징를 융합한 MMT 트랜스포머가 모든 과제에서 평균 F1 점수 0.6273을 기록하여 다른 모든 팀을 압도했다.
• 텍스트 전용 BERT 모델은 유머 감지에서 2등(F1=0.7743)을 기록했으며, 이와 유사하게 유머 및 모욕성 과제에서 가장 뛰어난 성능 기록.
• 감성 분석 과제에서 MMT 모델은 1등(F1=0.5318)을 기록했으며, 이는 텍스트 전용 모델(F1=0.5072)을 뛰어넘는 성과였다.
• 풍자 및 모욕성 콘텐츠 과제에서 MMT 모델은 텍스트 전용 모델보다 뚜렷한 성능 향상을 보였으며, F1 점수는 각각 0.8191과 0.5581을 기록했다.
• 추론 실험 결과, 다양한 모달 조합 간 성능 차이가 미미하여 CLIP 및 이미지 특징가 일관되게 작은 성능 향상을 제공하는 것으로 나타났다.
• 팀은 모든 과제에서 가장 높은 평균 점수를 기록하여 MMT 접근법의 강인성과 일반화 능력을 입증했다.