[论文解读] Attend to You: Personalized Image Captioning with Context Sequence Memory Networks

Cesc Chunseong Park, Byeongchang Kim+1 more|arXiv (Cornell University)|Apr 21, 2017

Multimodal Machine Learning Applications参考文献 26被引用 15

一句话总结

本文提出上下文序列记忆网络（CSMN），一种新颖的个性化图像字幕生成记忆增强模型，通过利用用户特定的上下文信息（如活跃词汇表和先前的文本生成记录）实现个性化。通过使用基于CNN的序列建模方式，将所有生成的词汇和上下文元数据存储在结构化记忆中，CSMN能够更好地捕捉长期依赖关系，并在包含110万条Instagram帖子的数据集上，在标签预测和帖子生成任务中超越当前最先进模型。

ABSTRACT

We address personalization issues of image captioning, which have not been discussed yet in previous research. For a query image, we aim to generate a descriptive sentence, accounting for prior knowledge such as the user's active vocabularies in previous documents. As applications of personalized image captioning, we tackle two post automation tasks: hashtag prediction and post generation, on our newly collected Instagram dataset, consisting of 1.1M posts from 6.3K users. We propose a novel captioning model named Context Sequence Memory Network (CSMN). Its unique updates over previous memory network models include (i) exploiting memory as a repository for multiple types of context information, (ii) appending previously generated words into memory to capture long-term information without suffering from the vanishing gradient problem, and (iii) adopting CNN memory structure to jointly represent nearby ordered memory slots for better context understanding. With quantitative evaluation and user studies via Amazon Mechanical Turk, we show the effectiveness of the three novel features of CSMN and its performance enhancement for personalized image captioning over state-of-the-art captioning models.

研究动机与目标

• 为解决图像字幕生成模型在社交媒体场景中缺乏个性化的问题。
• 开发一种能够将用户特定的写作风格和词汇表融入图像字幕生成的模型。
• 提升在帖子自动化任务（如标签预测和完整帖子生成）中的性能。
• 通过显式地将所有先前的词输出存储在记忆中，克服基于RNN的字幕生成中的梯度消失问题。
• 实现能够根据个体用户偏好和历史记录自适应调整的上下文感知字幕生成。

提出的方法

• CSMN使用记忆组件存储多种类型的上下文信息，包括用户特定的词汇表和图像描述符。
• 在每个解码步骤中，所有先前生成的词汇都会被追加到记忆中，从而在不出现梯度消失的情况下实现长期依赖建模。
• 模型采用对有序记忆槽进行卷积神经网络（CNN）处理，以联合表示相邻记忆条目之间的上下文关系。
• 软注意力机制使模型能够在生成词汇时选择性地关注相关记忆内容。
• 教师强制训练策略在训练阶段确保了马尔可夫性，将时间步之间的预测解耦，以稳定梯度。
• 该架构通过CNN整合图像特征，通过记忆整合用户上下文，并通过注意力机制对记忆进行自回归文本生成。

实验结果

研究问题

• RQ1 记忆增强模型能否有效利用用户特定的词汇表和写作风格实现图像字幕的个性化？
• RQ2 与RNN隐藏状态相比，将所有生成的词汇存储在记忆中如何提升长期依赖建模能力？
• RQ3 基于CNN的有序记忆槽表示在多大程度上增强了字幕生成中的上下文理解能力？
• RQ4 CSMN在真实世界的帖子自动化任务（如标签预测和完整帖子生成）中的表现如何？
• RQ5 该模型能否在保持对个体用户个性化的同时，实现对多样化主题的泛化？

主要发现

• 在AMT研究中，CSMN在标签预测任务中获得81.3%的人工偏好评分，显著优于次优基线模型（1NN-UsrIm）的67.0%。
• 在完整帖子生成任务中，CSMN获得81.3%的人工偏好评分，远超次优基线模型的73.0%。
• 该模型展现出强大的个性化能力，对同一张图片，不同用户的预测结果存在显著差异，同时保持语义相关性。
• CSMN在各类主题（包括时尚、美食和室内设计）中均保持优异性能，表现出对主题变化的强鲁棒性。
• 用户研究表明，CSMN生成的字幕包含相关词汇、表情符号和提及内容，真实反映了个性化表达。
• 消融实验验证了三项核心创新的有效性：多类型上下文记忆、词历史保留机制以及基于CNN的记忆表示方法。