[논문 리뷰] memeBot: Towards Automatic Image Meme Generation

Aadhavan Sadasivam, Kausic Gunasekar외 2명|arXiv (Cornell University)|2020. 04. 30.

Sentiment Analysis and Opinion Mining참고 문헌 24인용 수 4

한 줄 요약

memeBot는 자연어에서 멤에(이미지 + 캡션)로의 번역으로 간주하여, 입력 문장에서 멤에를 자동 생성하기 위한 엔드 투 엔드 신경 인코더-디코더 프레임워크를 제안한다. 이는 입력 문장과 템플릿을 기반으로 멤에 템플릿을 선택하고, 캡션을 생성하며, 트위터 데이터 기반 인간 평가에서 일관성에 대해 66.5%의 신뢰도, 관련성에 대해 66.25%의 신뢰도를 달성한다.

ABSTRACT

Image memes have become a widespread tool used by people for interacting and exchanging ideas over social media, blogs, and open messengers. This work proposes to treat automatic image meme generation as a translation process, and further present an end to end neural and probabilistic approach to generate an image-based meme for any given sentence using an encoder-decoder architecture. For a given input sentence, an image meme is generated by combining a meme template image and a text caption where the meme template image is selected from a set of popular candidates using a selection module, and the meme caption is generated by an encoder-decoder model. An encoder is used to map the selected meme template and the input sentence into a meme embedding and a decoder is used to decode the meme caption from the meme embedding. The generated natural language meme caption is conditioned on the input sentence and the selected meme template. The model learns the dependencies between the meme captions and the meme template images and generates new memes using the learned dependencies. The quality of the generated captions and the generated memes is evaluated through both automated and human evaluation. An experiment is designed to score how well the generated memes can represent the tweets from Twitter conversations. Experiments on Twitter data show the efficacy of the model in generating memes for sentences in online social interaction.

연구 동기 및 목표

• 온라인 소셜 상호작용에서 임의의 입력 문장으로부터 이미지 멤에를 생성하는 데 도전하는 데 초점한다.
• 자연어에서 다중모odal 출력(이미지 + 캡션)으로의 번역 작업으로 멤에 생성을 모델링한다.
• 멤에 템플릿을 공동으로 선택하고, 맥락적으로 관련된 캡션을 생성하는 엔드 투 엔드 시스템을 개발한다.
• 실제 트위터 데이터 기반 인간 평가와 자동 평가 지표를 활용하여 생성된 멤에의 품질을 평가한다.
• 학습 중에 볼 수 없었던 특정 멤에 템플릿에 기반해 캡션을 조절적으로 생성할 수 있도록 한다.

제안 방법

• 입력 문장과 선택된 멤에 템플릿을 공유 멤에 임베딩 공간으로 매핑하기 위해 공동 임베딩 공간을 사용하는 인코더-디코더 아키텍처를 사용한다.
• 입력 문장의 의미에 기반해 인기 있는 템플릿 세트에서 가장 적합한 멤에 이미지를 선택하는 템플릿 선택 모듈을 적용한다.
• 입력 문장과 선택된 템플릿 임베딩을 조건으로 하여 트랜스포머 기반 디코더를 사용해 멤에 캡션을 생성한다.
• 대규모 멤에 캡션 데이터셋을 사용하여 정확한 템플릿 선택과 정확한 캡션 생성의 가능성을 최대화하도록 모델을 훈련한다.
• 훈련 중 데이터 손상을 통합하여, 볼 수 없는 입력 문장에 대한 견고성과 일반화 능력을 향상시킨다.
• 학습 분포 외의 특정 멤에 템플릿에 기반해 캡션 생성기를 조절적으로 작동시킬 수 있도록 한다.

실험 결과

연구 질문

• RQ1 자연어에서 다중모달 출력으로의 번역 작업으로서 자동 이미지 멤에 생성을 효과적으로 모델링할 수 있는가?
• RQ2 통합 인코더-디코더 모델이 입력 문장과 멤에 템플릿을 모두 기반으로 일관성 있고 관련성이 높은 멤에 캡션을 얼마나 잘 생성할 수 있는가?
• RQ3 모델이 볼 수 없었던 입력 문장으로 일반화되며 인간 평가에서 품질을 유지하는 데까지 어느 정도까지 성능을 발휘하는가?
• RQ4 학습 중에 명시적으로 볼 수 없었던 특정 멤에 템플릿에 대해 캡션을 조절적으로 생성할 수 있는가?
• RQ5 인간 평가자들은 생성된 멤에의 품질과 관련성에 대해 인간이 만든 멤에와 비교해 어떻게 평가하는가?

주요 결과

• 인간 평가 기반으로 모델은 일관성 있는 멤에 캡션 생성에 대해 66.5%의 신뢰도, 관련성 있는 캡션 생성에 대해 66.25%의 신뢰도를 달성했다.
• 평가자 65%가 생성된 멤에를 좋아했으며, 좋아요 점수는 일관성과 관련성 평가와 강하게 상관관계가 있었다.
• 인간 평가자들 중 60% 이상이 생성된 멤에를 일관성 있고 관련성이 있다고 평가하여 핵심 품질 기준에서 뛰어난 성능을 보였다.
• 평가자 간 일致도가 높았으며, 모든 지표에 대해 코HEN의 카파 계수 60% 이상이었고(일관성: 71.68%, 관련성: 61.39%, 사용자 좋아요: 73.85%),),
• 모델는 학습 데이터에 포함되지 않은 멤에 템플릿에 대해서도 캡션을 조건부로 생성할 수 있어, 견고성과 제어 능력을 입증했다.
• 시스템은 멤에 캡션, 템플릿, 입력 문장 간의 관계를 효과적으로 학습하여 의미적으로 일치하는 멤에를 엔드 투 엔드로 생성할 수 있었다.