[论文解读] Dank Learning: Generating Memes Using Deep Neural Networks

Abel L. Peirson, E Meltem Tolunay|arXiv (Cornell University)|Jun 8, 2018

Multimodal Machine Learning Applications参考文献 14被引用 37

一句话总结

本文提出了一种深度学习系统，通过微调的Inception-v3编码器和基于注意力机制的LSTM解码器，从输入图像生成幽默且相关的梗图标题。该模型在人类评估中达到与真实梗图难以区分的程度，70%的生成梗图在人类测试中无法被识别为合成内容。

ABSTRACT

We introduce a novel meme generation system, which given any image can produce a humorous and relevant caption. Furthermore, the system can be conditioned on not only an image but also a user-defined label relating to the meme template, giving a handle to the user on meme content. The system uses a pretrained Inception-v3 network to return an image embedding which is passed to an attention-based deep-layer LSTM model producing the caption - inspired by the widely recognised Show and Tell Model. We implement a modified beam search to encourage diversity in the captions. We evaluate the quality of our model using perplexity and human assessment on both the quality of memes generated and whether they can be differentiated from real ones. Our model produces original memes that cannot on the whole be differentiated from real ones.

研究动机与目标

• 开发一种神经网络系统，能够从任意输入图像生成幽默且语境相关的梗图标题。
• 探索将标题生成条件化于与梗图模板相关的用户定义标签的影响。
• 通过自动化指标（困惑度）和人类对幽默感与真实性的评估，评估生成梗图的质量。
• 解决在AI生成的梗图中生成多样化、原创且具有文化共鸣的幽默内容的挑战。
• 研究在数据稀疏性条件下，标签条件化和注意力机制在梗图生成中的局限性。

提出的方法

• 利用预训练的Inception-v3网络从输入图像中提取固定长度的图像嵌入。
• 采用基于注意力机制的长短期记忆（LSTM）循环神经网络，从图像嵌入生成标题。
• 应用改进的束搜索策略以增强标题多样性并避免重复。
• 整合预训练的GloVe词嵌入以提升语义理解与语言建模能力。
• 将标题生成条件化于用户提供的标签，以影响梗图内容，但由于标签稀缺，效果有限。
• 使用困惑度作为语言建模指标进行模型微调，并通过人类评估对幽默感和可区分性进行结果验证。

实验结果

研究问题

• RQ1 深度学习模型能否在人类评估中生成与真实梗图难以区分的梗图？
• RQ2 将标题生成条件化于用户定义的标签，如何影响生成梗图的多样性与相关性？
• RQ3 引入注意力机制在多大程度上提升了生成梗图标题的质量与原创性？
• RQ4 自动化指标（如困惑度）与人类对幽默感和真实性的判断在梗图生成中相关性如何？
• RQ5 当前模型在捕捉文化层面微妙幽默方面存在哪些局限性，尤其是在训练数据包含偏见或不当内容时？

主要发现

• 在人类测试中，模型生成的梗图与真实梗图无显著差异，对于已见图像，70%的受试者未能识别出其为合成内容。
• 基于注意力机制的模型变体困惑度（2.02）低于GloVe平均模型（2.28），表明其语言建模性能更优。
• 尽管困惑度更低，但注意力模型在人类幽默评估中的得分（5.5/10）低于GloVe模型（6.9/10），表明流畅性与幽默感之间存在权衡。
• 模型生成的标题通常具有原创性，16%-26%的生成标题在训练数据中未出现，表明其具备良好的泛化能力。
• 标签条件化对标题内容影响有限，因为生成的标题主要依赖图像而非标签，这是由于训练数据中标签稀疏且覆盖范围广泛所致。
• 真实梗图在幽默感评分中平均得分为7.0/10，表现最佳的模型变体（GloVe平均值）以6.9/10紧随其后，表现接近基准水平。