[논문 리뷰] Towards Expressive Communication with Internet Memes: A New Multimodal Conversation Dataset and Benchmark

Zhengcong Fei, Zekang Li외 3명|arXiv (Cornell University)|2021. 09. 04.

Humor Studies and Applications참고 문헌 33인용 수 7

한 줄 요약

이 논문은 멤에 통합된 개방형 대화(MOD) 작업을 소개하며, 약 45,000개의 대화와 약 606,000개의 발화를 포함하는 대규모 중국어 다중모달 대화 데이터셋을 제안한다. 각 발화는 인터넷 멤에 감정 레이블이 부여되어 있다. 또한, 텍스트와 멤 생성을 동시에 처리하는 트랜스포머 기반 아키텍처를 사용하는 통합 생성 모델인 MOD-GPT를 제시하며, 응답 생성 및 멤 검색 작업에서 뛰어난 성능을 보이며, 특히 훈련 중에 보지 못한 멤에 대해서도 뛰어난 일반화 능력을 보인다.

ABSTRACT

As a kind of new expression elements, Internet memes are popular and extensively used in online chatting scenarios since they manage to make dialogues vivid, moving, and interesting. However, most current dialogue researches focus on text-only dialogue tasks. In this paper, we propose a new task named as extbf{M}eme incorporated extbf{O}pen-domain extbf{D}ialogue (MOD). Compared to previous dialogue tasks, MOD is much more challenging since it requires the model to understand the multimodal elements as well as the emotions behind them. To facilitate the MOD research, we construct a large-scale open-domain multimodal dialogue dataset incorporating abundant Internet memes into utterances. The dataset consists of $\sim$45K Chinese conversations with $\sim$606K utterances. Each conversation contains about $13$ utterances with about $4$ Internet memes on average and each utterance equipped with an Internet meme is annotated with the corresponding emotion. In addition, we present a simple and effective method, which utilizes a unified generation network to solve the MOD task. Experimental results demonstrate that our method trained on the proposed corpus is able to achieve expressive communication including texts and memes. The corpus and models have been publicly available at https://github.com/lizekang/DSTC10-MOD.

연구 동기 및 목표

• 개방형 대화에서 감정적이고 맥락적인 풍부함을 위해 인터넷 멤을 통합한 표현력 있는 다중모달 대화 시스템의 부족을 해결하기 위해.
• 다양한 인터넷 멤과 감정 레이블이 부여된 대규모 개방형 중국어 대화 데이터셋을 구축하여 다중모달 대화 연구를 지원하기 위해.
• 맥락적이고 감정적으로 적절한 텍스트와 멤을 동시에 생성할 수 있는 통합 딥러닝 프레임워크를 개발하기 위해.
• 실제 운영 환경의 과제를 반영하기 위해 훈련 중에 보이지 않은 멤에 대한 모델 일반화 능력을 평가하기 위해.

제안 방법

• 약 45,000개의 대화, 약 606,000개의 발화, 대화당 약 4개의 멤을 포함하는 대규모 개방형 대화 데이터셋을 구축하며, 각 발화는 감정 레이블이 부여되어 있다.
• 텍스트 응답과 인터넷 멤을 동시에 예측하는 트랜스포머 아키텍처 기반의 통합 시퀀스 생성 모델인 MOD-GPT를 제안한다.
• 다중모달 이해를 향상시키기 위해 인터넷 멤 특징 추출(IMFE)과 교차모달 감정 모델링(CEM)이라는 두 가지 보조 과제를 활용한 사전학습 전략을 적용한다.
• 텍스트와 멤 토큰을 동시에 예측할 수 있는 통합 생성 헤드를 사용하여 텍스트와 이미지 생성을 위한 별도의 모듈 없이 엔드 투 엔드 학습을 가능하게 한다.
• 응답 생성 중 텍스트 맥락과 멤의 시각적 특징을 정렬하기 위해 대비 학습과 교차 어텐션 메커니즘을 적용한다.
• 응답 생성, 멤 검색, 감정 인식 기반 응답 선택 등의 다중 하위 작업에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 통합 신경 생성 모델은 개방형 대화에서 텍스트와 인터넷 멤을 조합한 다중모달 응답을 효과적으로 생성할 수 있는가?
• RQ2 훈련 중에 보이지 않은 인터넷 멤에 대해 모델은 얼마나 잘 일반화되는가?
• RQ3 감정 레이블이 다중모달 응답의 품질과 관련성에 얼마나 기여하는가?
• RQ4 IMFE와 CEM과 같은 사전학습 과제가 최종 다중모달 대화 생성 성능에 미치는 영향은 어떠한가?

주요 결과

• MOD-GPT는 멤 검색에 대해 쉬운 테스트 세트에서 R10@5 점수 83.6%를 기록하여 관련 멤을 선별하는 데 강력한 성능을 보였다.
• 훈련 중에 보이지 않은 멤이 포함된 어려운 테스트 세트에서는 R10@5 70.5%를 기록하여 도전적인 상황에서도 유망한 일반화 능력을 보였다.
• 제거 실험 결과, IMFE와 CEM 사전학습 과제 모두 성능 향상에 기여하며, 특히 IMFE는 R10@1에 +5.1% 기여를 확인했다.
• 감정에 해당하는 키워드(예: '미안해')에 대해 모델이 더 높은 어텐션 가중치를 할당함으로써 감정 인식 기반 추론이 효과적으로 이루어지고 있음을 확인했다.
• 후보 멤 세트가 커질수록 성능 저하가 심각하게 발생함을 확인하여 검색 확장성 향상 여지가 있음을 시사했다.
• 통합 모델은 모든 지표에서 계층적 LSTM 기반(MHERAD) 및 단순 유사도 기반(SRS) 기준 모델보다 뛰어난 성능을 보였다.