[논문 리뷰] Memotion 3: Dataset on Sentiment and Emotion Analysis of Codemixed Hindi-English Memes

Shreyash Mishra, S Suryavardan외 10명|arXiv (Cornell University)|2023. 03. 17.

Humor Studies and Applications인용 수 5

한 줄 요약

Memotion 3는 감성 및 정서 분석을 위해 주로 히ンディ어-英語 혼합 텍스트를 포함한 10,000개의 멤에를 포함한 새로운 데이터셋을 소개하며, 多언어 멤에 분석 분야의 격차를 보완한다. 이 데이터셋은 자원이 적은, 코드 스위칭이 일어나는 소셜 미디어 콘텐츠에 대한 모델의 벤치마킹을 가능하게 하며, 기준 모델이 정서 분류에서 72.1% F1, 감성 분류에서 74.3% F1을 기록하였다.

ABSTRACT

Memes are the new-age conveyance mechanism for humor on social media sites. Memes often include an image and some text. Memes can be used to promote disinformation or hatred, thus it is crucial to investigate in details. We introduce Memotion 3, a new dataset with 10,000 annotated memes. Unlike other prevalent datasets in the domain, including prior iterations of Memotion, Memotion 3 introduces Hindi-English Codemixed memes while prior works in the area were limited to only the English memes. We describe the Memotion task, the data collection and the dataset creation methodologies. We also provide a baseline for the task. The baseline code and dataset will be made available at https://github.com/Shreyashm16/Memotion-3.0

연구 동기 및 목표

• 다국어 멤에 데이터셋의 부족을 해결하기 위해 대규모의 코드 스위칭이 일어나는 히ン디어-英語 멤에 데이터셋을 도입하기 위해.
• 자원이 적은, 사회적으로 관련성이 있으며 언어적으로 다양성이 있는 다중모odal 콘텐츠에서의 감성 및 정서 분석 연구를 가능하게 하기 위해.
• 코드 스위칭이 일어나는 다중모달 이해 작업에 대한 표준화된 벤치마크 제공을 위해.
• 소셜 미디어에서 비공식적이고 유머러스스럽거나 잠재적으로 해로운 콘텐츠를 다룰 수 있는 강력한 NLP 시스템 개발을 지원하기 위해.
• 정제된, 인간이 직접 분석한 데이터셋을 통해 다국어, 다중모달 온라인 콘텐츠에서의 위성 정보 및 증오 발언 탐지에 대한 연구를 촉진하기 위해.

제안 방법

• 소셜 미디어 플랫폼에서 10,000개의 멤에를 수집하여, 주로 히ンディ어-英語 혼합 텍스트와 이미지 조합을 중심으로 하였다.
• 각 멤에를 감성(긍정, 부정, 중립) 및 정서(예: 분노, 기쁨, 슬픔)로 분류하기 위해 다단계 분석 파이프라인을 활용하고, 다수의 분석자들이 참여하였다.
• 상호 분석자 간 일致도 검사 및 공통 합의 레이블링을 통한 품질 제어 조치를 적용하여 분석 신뢰도를 확보하였다.
• 비전-텍스트 트랜스포머 아키텍처를 사용한 기준 모델을 개발하여, 데이터셋에 맞추어 미세조정하여 감성 및 정서 분류를 동시에 수행하도록 하였다.
• 다중 레이블 분류를 위해 교차 엔트로피 손실을 사용하고, 감성 및 정서 작업의 성능을 F1 스코어로 평가하였다.
• 데이터셋 및 기준 코드를 배포하여 복제 가능성과 다중모달, 다국어 NLP 분야의 향후 연구를 지원하였다.

실험 결과

연구 질문

• RQ1 기존의 다중모달 모델들은 히ン디어-英語 혼합 멤에의 감성 및 정서 분류에 얼마나 효과적인가?
• RQ2 NLP 모델에서 단일 언어와 코드 스위칭 멤에 이해 간 성능 격차는 얼마나 되는가?
• RQ3 코드 스위칭 멤에 데이터에서 감성 및 정서 카테고리 간 상호 분석자 간 일치도는 어떻게 변하는가?
• RQ4 통합된 비전-텍스트 모델은 자원이 적고, 비공식적이며, 웃기거나 유머러스한 다중모달 콘텐츠의 감성과 정서를 효과적으로 파악할 수 있는가?
• RQ5 혼합 언어 및 문화적으로 뉘앙스가 높은 표현을 포함한 코드 스위칭 멤에의 감성 및 정서 분석 및 모델링에서의 주요 과제는 무엇인가?

주요 결과

• 기준 모델은 감성 분류에서 74.3% F1, 정서 분류에서 72.1% F1을 기록하여, 다중모달 코드 스위칭 이해의 가능성을 입증하였다.
• 상호 분석자 간 일치도는 중간에서 높은 수준이었으며, 정서 카테고리 간 캄파 스코어는 0.52에서 0.68 사이로 나타나 분석 품질이 신뢰할 수 있음을 보여주었다.
• 데이터셋은 코드 스위칭 표현에서 뚜렷한 언어적 및 문화적 뉘앙스를 드러내며, 멤에에 흔히 존재하는 유머와 풍자적 표현을 포함하고 있다.
• 정서 분류는 감성 분류보다 더 어려웠으며, 특히 '공포'와 '사랑' 같은 정서는 상호 분석자 간 일치도가 낮아 어려움을 보였다.
• 감성 클래스 간 균형 잡힌 분포를 보이며, 긍정 33.4%, 부정 32.1%, 중립 34.5%로 구성되어 있다.
• 데이터셋과 기준 코드의 배포는 향후 자원이 적은, 다국어 및 다중모달 NLP 분야의 연구, 특히 소셜 미디어 콘텐츠 모니터링 분야의 연구를 가능하게 한다.