[论文解读] memeBot: Towards Automatic Image Meme Generation

Aadhavan Sadasivam, Kausic Gunasekar+2 more|arXiv (Cornell University)|Apr 30, 2020

Sentiment Analysis and Opinion Mining参考文献 24被引用 4

一句话总结

memeBot 提出了一种用于自动图像表情包生成的端到端神经编码器-解码器框架，将该任务建模为从文本到表情包（图像 + 文字）的翻译。它选择一个表情包模板，并基于输入句子和模板生成文字说明，在 Twitter 数据上的人工评估中，连贯性达到 66.5%，相关性达到 66.25%。

ABSTRACT

Image memes have become a widespread tool used by people for interacting and exchanging ideas over social media, blogs, and open messengers. This work proposes to treat automatic image meme generation as a translation process, and further present an end to end neural and probabilistic approach to generate an image-based meme for any given sentence using an encoder-decoder architecture. For a given input sentence, an image meme is generated by combining a meme template image and a text caption where the meme template image is selected from a set of popular candidates using a selection module, and the meme caption is generated by an encoder-decoder model. An encoder is used to map the selected meme template and the input sentence into a meme embedding and a decoder is used to decode the meme caption from the meme embedding. The generated natural language meme caption is conditioned on the input sentence and the selected meme template. The model learns the dependencies between the meme captions and the meme template images and generates new memes using the learned dependencies. The quality of the generated captions and the generated memes is evaluated through both automated and human evaluation. An experiment is designed to score how well the generated memes can represent the tweets from Twitter conversations. Experiments on Twitter data show the efficacy of the model in generating memes for sentences in online social interaction.

研究动机与目标

• 解决在在线社交互动中从任意输入句子生成图像表情包的挑战。
• 将表情包生成建模为从自然语言到多模态输出（图像 + 文字）的翻译任务。
• 开发一个端到端系统，联合选择表情包模板并生成语境相关的文字说明。
• 使用真实世界 Twitter 数据上的自动化指标和人工评估，评估生成表情包的质量。
• 通过在特定表情包模板上条件生成文字说明，实现可控的表情包生成，即使这些模板在训练过程中未出现过。

提出的方法

• 使用编码器-解码器架构和共享嵌入空间，将输入句子和选定的表情包模板映射到共享的表情包嵌入中。
• 采用模板选择模块，根据输入句子的语义，从一组精选的流行模板中选择最合适的表情包图像。
• 应用基于 Transformer 的解码器，基于输入句子和选定模板的嵌入生成表情包文字说明。
• 通过大规模表情包文字说明数据集进行训练，以最大化正确模板选择和准确文字说明生成的概率。
• 在训练过程中引入数据损坏，以提高对未见输入句子的鲁棒性和泛化能力。
• 通过在指定表情包模板上条件生成文字说明，实现可控生成，即使该模板未出现在训练分布中。

实验结果

研究问题

• RQ1 能否将自动图像表情包生成有效建模为从文本到多模态输出的神经机器翻译任务？
• RQ2 联合编码器-解码器模型在同时基于输入句子和表情包模板的条件下，能否生成连贯且相关性强的表情包文字说明？
• RQ3 该模型在未见输入句子上的泛化能力如何，其在人工评估中的质量表现如何？
• RQ4 该模型能否在未显式出现在训练数据中的特定表情包模板上生成文字说明，实现可控生成？
• RQ5 与人工创作的表情包相比，人工评分者如何评价生成表情包的质量和相关性？

主要发现

• 基于人工评估，模型在生成连贯表情包文字说明方面达到 66.5% 的置信度，在生成相关文字说明方面达到 66.25% 的置信度。
• 65% 的评分者喜欢生成的表情包，且点赞分数与连贯性和相关性评分高度相关。
• 超过 60% 的生成表情包被人工评估者评为连贯且相关，表明在核心质量维度上表现优异。
• 评分者间一致性高，所有指标的 Cohen’s Kappa 分数均超过 60%（连贯性：71.68%，相关性：61.39%，用户点赞：73.85%）。
• 该模型成功实现对任意给定表情包模板的生成，即使该模板未在训练数据中出现过，展现出强大的鲁棒性和控制能力。
• 该系统有效学习了表情包文字说明、模板与输入句子之间的依赖关系，实现了语义一致的表情包端到端生成。