[논문 리뷰] Exercise? I thought you said 'Extra Fries': Leveraging Sentence Demarcations and Multi-hop Attention for Meme Affect Analysis

Shraman Pramanick, Md Shad Akhtar외 1명|arXiv (Cornell University)|2021. 03. 23.

Sentiment Analysis and Opinion Mining인용 수 7

한 줄 요약

이 논문은 다중 힙 어텐션 기반의 딥러닝 프레임워크인 MHA-Meme를 제안한다. 이는 다중 모odal 멤에이트 분석을 위해 세분화된 텍스트 조각과 이미지 간의 상호관계를 활용한다. 단모달 어텐션과 다중 모달 융합 메커니즘을 통합함으로써, SemEval-2020 Memotion Analysis 데이터셋에서 감성 분류, 영향 분류, 영향 정량화의 세 가지 작업 전반에서 최신 기술 수준의 성능을 달성한다. 기존 최고의 경쟁 시스템 대비 F1 점수에서 일관되게 0.5%에서 2.2%까지 향상되었다.

ABSTRACT

Today's Internet is awash in memes as they are humorous, satirical, or ironic which make people laugh. According to a survey, 33% of social media users in age bracket [13-35] send memes every day, whereas more than 50% send every week. Some of these memes spread rapidly within a very short time-frame, and their virality depends on the novelty of their (textual and visual) content. A few of them convey positive messages, such as funny or motivational quotes; while others are meant to mock/hurt someone's feelings through sarcastic or offensive messages. Despite the appealing nature of memes and their rapid emergence on social media, effective analysis of memes has not been adequately attempted to the extent it deserves. In this paper, we attempt to solve the same set of tasks suggested in the SemEval'20-Memotion Analysis competition. We propose a multi-hop attention-based deep neural network framework, called MHA-MEME, whose prime objective is to leverage the spatial-domain correspondence between the visual modality (an image) and various textual segments to extract fine-grained feature representations for classification. We evaluate MHA-MEME on the 'Memotion Analysis' dataset for all three sub-tasks - sentiment classification, affect classification, and affect class quantification. Our comparative study shows sota performances of MHA-MEME for all three tasks compared to the top systems that participated in the competition. Unlike all the baselines which perform inconsistently across all three tasks, MHA-MEME outperforms baselines in all the tasks on average. Moreover, we validate the generalization of MHA-MEME on another set of manually annotated test samples and observe it to be consistent. Finally, we establish the interpretability of MHA-MEME.

연구 동기 및 목표

• 시각적 및 텍스처적 모달이 복합적이고 맥락에 따라 달라지는 의미를 지닌 멤에이트에서 다중 모달 영향 분석의 과제를 해결한다.
• 감성, 유머, 풍자, 모욕, 동기 부여 분류 작업 전반에서 성능이 일관되지 못한 기존 모델의 한계를 극복한다.
• 텍스트 조각과 이미지 영역 간의 세분화된 상호작용을 포착할 수 있는 프레임워크를 개발하여 멤에이트 내에서 영향 이해를 향상시킨다.
• LIME 및 어텐션 시각화를 통해 모델의 해석 가능성을 확보하여 예측의 신뢰성과 투명성을 보장한다.
• 감성, 영향 분류, 영향 정량화의 세 가지 하위 작업 전반에서 일관되고 뛰어난 성능을 달성한다.

제안 방법

• 텍스트 조각의 세분화 분석을 가능하게 하기 위해 멤에이트의 전경 텍스트를 별도의 어절 또는 문장으로 분할한다.
• 각 텍스트 조각으로부터 맥락적 표현을 추출하기 위해 다중 힙 어텐션 기법을 적용한다. 이는 관련 의미 단위에 집중한다.
• 이미지 영역에서 공간적으로 인지된 표현을 학습하기 위해 시각적 특징 추출을 위한 별도의 다중 힙 어텐션 모듈을 사용한다.
• 텍스트 조각과 이미지 특징 간의 교차 모달 상호작용을 계산하기 위해 어텐션 기반의 다중 모달 융합 모듈을 구현한다.
• 모든 텍스트 조각을 통해 강화된 다중 모달 표현을 최종 다중 힙 어텐션 레이어를 통해 집계하여 맥락 인식 표현을 정밀하게 조정한다.
• 최종 융합 표현을 분류 헤드에 전달하여 감성 및 영향 예측 작업에 대해 엔드 투 엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 다중 힙 어텐션 기법이 멤에이트에서 텍스트 조각과 이미지 영역 간의 세분화된 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 제안된 MHA-Meme 프레임워크가 SemEval-2020 멤에이트 분석 데이터셋에서 감성, 영향 분류, 영향 정량화 작업 전반에서 기존 최신 기술 수준의 모델을 초월하는가?
• RQ3 기존 기반 시스템 대비 MHA-Meme의 성능은 감정 차원(유머, 풍자, 모욕, 동기 부여) 전반에서 얼마나 일관된가?
• RQ4 어텐션 가중치와 LIME 기반 설명이 MHA-Meme의 예측에 대해 충실하고 해석 가능한 통찰을 제공할 수 있는가?
• RQ5 문장 구분과 다중 모달 어텐션의 통합이 수동으로 주석이 달린 새로운 멤에이트 샘플에 대한 일반화 능력을 향상시키는가?

주요 결과

• MHA-Meme는 SemEval-2020 멤에이트 분석 공동 과제의 세 가지 작업 전반에서 최신 기술 수준의 성능을 달성했으며, 기반 시스템 대비 F1 점수에서 +0.5%에서 +2.2%까지 향상되었다.
• 모든 여덟 가지 감정 차원에서 11개의 기반 시스템을 모두 초월했으며, 네 가지 차원에서 1위, 세 차원에서 2위, 한 차원에서 3위를 기록했다.
• 영향 분류 및 정량화 작업에서 MHA-Meme는 유머, 풍자, 모욕, 동기 부여의 네 가지 감정 유형 전반에서 일관된 성능을 보였으며, 기반 시스템은 이와 달리 성능이 일관되지 못했다.
• LIME 기반 설명은 모델이 긍정적 감성 예측의 주요 기여 요소로 정확히 중요한 이미지 영역(예: 미소를 띤 얼굴)과 핵심 텍스트 단어(예: 'SMILE', 'MORE')를 식별했음을 확인했다.
• MHA-Meme가 시각화한 어텐션 가중치는 LIME 설명과 일치했으며, 모델이 텍스트의 의미적으로 관련 있는 토큰(예: 'SMILE')과 이미지의 해당 얼굴 기능에 집중하고 있음을 보여주었다.
• 공식 테스트 세트 외부의 수동 주석이 달린 테스트 샘플에 대해서도 모델은 일관된 성능과 해석 가능성을 유지하며 잘 일반화되었다.