[논문 리뷰] SemEval-2020 Task 8: Memotion Analysis -- The Visuo-Lingual Metaphor!

Chhavi Sharma, Deepesh Bhageria외 6명|arXiv (Cornell University)|2020. 08. 09.

Sentiment Analysis and Opinion Mining인용 수 6

한 줄 요약

이 논문은 시각적 및 텍스처적 모odal을 사용하여 인터넷 멤에의 감정, 감정 유형(sarcastic, humorous, offensive, motivational) 및 감정 강도를 분류하기 위한 다모odal 기준인 SemEval-2020 Task 8, Memotion Analysis를 소개한다. 이 작업은 10,000개의 인간 레이블링된 멤에를 제공하였으며, 감정, 감정 유형, 강도 분류에서 각각 F1 (macro) 점수 0.35, 0.51, 0.32를 기록하여 멤에에서의 다모달 감정 이해의 과제를 부각시킨다.

ABSTRACT

Information on social media comprises of various modalities such as textual, visual and audio. NLP and Computer Vision communities often leverage only one prominent modality in isolation to study social media. However, the computational processing of Internet memes needs a hybrid approach. The growing ubiquity of Internet memes on social media platforms such as Facebook, Instagram, and Twiter further suggests that we can not ignore such multimodal content anymore. To the best of our knowledge, there is not much attention towards meme emotion analysis. The objective of this proposal is to bring the attention of the research community towards the automatic processing of Internet memes. The task Memotion analysis released approx 10K annotated memes, with human-annotated labels namely sentiment (positive, negative, neutral), type of emotion (sarcastic, funny, offensive, motivation) and their corresponding intensity. The challenge consisted of three subtasks: sentiment (positive, negative, and neutral) analysis of memes, overall emotion (humour, sarcasm, offensive, and motivational) classification of memes, and classifying intensity of meme emotion. The best performances achieved were F1 (macro average) scores of 0.35, 0.51 and 0.32, respectively for each of the three subtasks.

연구 동기 및 목표

• 시각적 및 텍스처적 콘텐츠를 조합한 다모달 인터넷 멤에를 분석하여 감정 이해에 도전하는 문제를 해결하기 위해.
• 감정, 감정 유형, 강도 레이블이 부여된 대규모 인간 레이블링 데이터셋 10,000개를 제공하여 다모달 정서 컴퓨팅 분야의 연구를 지원하기 위해.
• 소셜 미디어에서 점점 더 퍼져나가는 비유, 유머, 모욕, 동기 부여 요소를 포함한 멤에에서의 자동 감지 기술을 촉진하기 위해.
• 단모달 접근 방식을 초월하여 멤에의 미묘한 정서적 내용을 포괄하는 데에 다모달 융합 기법의 효과를 평가하기 위해.

제안 방법

• 세부 과제로 구성된 과제: 감정 분류(긍정, 부정, 중립), 감정 유형 분류(비유, 유머, 모욕, 동기 부여), 리커트 척도 기반 감정 강도 정량화.
• 감정, 감정 유형, 강도에 대해 레이블링된 10,000개의 멤에를 포함한 다모달 데이터셋을 수집하였으며, 추출된 텍스트 캡션과 이미지 특징을 포함.
• 초기 융합 및 후기 융합 기법을 포함한 다모달 융합 기법을 사용하여 기준 모델을 개발하였으며, 시각적 및 텍스처적 특징 추출을 위해 ResNet-50, BiLSTM, RoBERTa 등의 모델을 활용.
• 딥 러닝 모델과 함께 랜덤 포레스트 및 KNN와 같은 통계적 모델링 기법을 사용하여 융합 성능 평가.
• 이상 상관 분석(PCA) 및 딥 CCA를 적용하여 이미지와 텍스트 모달 간의 상관관계를 평가하였으며, 상호 보완성이 상관관계보다 더 높음을 확인.
• 참가자들은 모달 기여도를 분석하도록 유도되었으며, 많은 모델이 다모달 융합을 초월하여 더 뛰어난 성능을 기록하여, 모달 특화 모델링이 더 효과적일 수 있음을 시사.

실험 결과

연구 질문

• RQ1 인터넷 멤에의 감정 및 감정 유형 분류에 있어 다모달 융합 전략의 효과는 어떠한가?
• RQ2 시각적 및 텍스처적 모달이 조합된 것과 비교해, 멤에의 감정 인식에 독립적으로 기여하는 정도는 어느 정도인가?
• RQ3 리커트 척도 기반 레이블링 체계를 사용하여 멤에의 감정 표현 강도를 신뢰성 있게 정량화할 수 있는가?
• RQ4 왜 일부 모델은 둘 다 융합하는 대신 단일 모달(텍스트 또는 이미지)만을 사용할 경우 더 뛰어난 성능을 내는가?
• RQ5 문화적 및 맥락적 의존성으로 인해 비유, 모욕, 유머를 탐지하는 데 있어 주로 발생하는 주요 과제는 무엇인가?

주요 결과

• 최고의 성능을 기록한 시스템은 감정 유형 분류 과제에서 매크로 F1 점수 0.51을 기록하여 비유, 유머, 모욕, 동기 부여를 중간 정도로 정확하게 식별한 것으로 나타났다.
• 감정 분류 과제는 매크로 F1 점수 0.35를 기록하여 다모달 멤에 콘텐츠에서 감정을 포착하는 데에 큰 어려움이 있음을 반영한다.
• 강도 분류 과제는 매크로 F1 점수 0.32를 기록하여 감정 표현의 강도를 정량화하는 데에 낮은 성능을 보였다.
• 많은 상위 성능 모델들이 텍스트 또는 이미지 특징만을 사용할 경우 더 뛰어난 결과를 기록하여, 융합 기법이 항상 멤에 분석에서 성능 향상에 기여하지는 않음을 시사한다.
• 분석 결과, 멤에의 이미지와 텍스트는 상관관계보다는 보완성이 더 높음을 확인하였으며, 이는 융합 기반 접근 방식이 최적일 것이라는 가정을 도전한다.
• 참가자들의 통찰은 특히 대중문화 기반 도메인 특화 멤에의 경우 문화적 및 맥락 지식의 중요성을 강조한다.