[论文解读] "Factual" or "Emotional": Stylized Image Captioning with Adaptive Learning and Attention

Tianlang Chen, Zhongping Zhang+5 more|arXiv (Cornell University)|Jul 10, 2018

Multimodal Machine Learning Applications参考文献 47被引用 9

一句话总结

本文提出了一种风格化图像字幕生成模型，通过新颖的风格-事实LSTM结合自适应注意力机制与参考引导的自适应学习策略，实现事实性与情感风格的联合生成。该模型在无需额外真实标签（除图像-字幕对外）的前提下，在幽默/浪漫及正面/负面字幕生成基准上均超越了当前最先进方法。

ABSTRACT

Generating stylized captions for an image is an emerging topic in image captioning. Given an image as input, it requires the system to generate a caption that has a specific style (e.g., humorous, romantic, positive, and negative) while describing the image content semantically accurately. In this paper, we propose a novel stylized image captioning model that effectively takes both requirements into consideration. To this end, we first devise a new variant of LSTM, named style-factual LSTM, as the building block of our model. It uses two groups of matrices to capture the factual and stylized knowledge, respectively, and automatically learns the word-level weights of the two groups based on previous context. In addition, when we train the model to capture stylized elements, we propose an adaptive learning approach based on a reference factual model, it provides factual knowledge to the model as the model learns from stylized caption labels, and can adaptively compute how much information to supply at each time step. We evaluate our model on two stylized image captioning datasets, which contain humorous/romantic captions and positive/negative captions, respectively. Experiments shows that our proposed model outperforms the state-of-the-art approaches, without using extra ground truth supervision.

研究动机与目标

• 生成高质量的风格化图像字幕，确保语义准确且风格恰当（例如幽默、浪漫、正面、负面）。
• 解决在图像字幕生成中平衡事实准确性与风格表达的挑战。
• 开发一种在不依赖额外标注（如情感强度）的前提下，保留事实知识并从风格化字幕标签中学习的方法。
• 使模型能够根据上下文动态关注事实性或风格化组件，从而提升生成质量。

提出的方法

• 提出一种风格-事实LSTM，通过两组独立的矩阵分别编码事实性与风格化知识，并在每个时间步使用注意力加权机制整合这些组件。
• 引入一种自适应学习机制，利用预训练的事实性字幕模型作为参考，动态调整每一步注入的事实知识量。
• 采用基于相似度的损失函数，使模型预测结果与参考模型输出对齐，从而在风格化字幕生成过程中确保事实一致性。
• 使用自注意力机制，基于隐藏状态上下文计算事实性与风格化组件之间的动态注意力权重，实现上下文感知的风格切换。
• 仅使用图像-字幕对进行端到端训练，避免依赖额外标注（如词级情感分数）。
• 应用注意力机制聚焦于相关视觉特征，并将其与事实性及风格化语言组件对齐。

实验结果

研究问题

• RQ1 统一模型能否在无需额外监督的情况下，有效平衡图像字幕生成中的事实准确性与风格表达？
• RQ2 模型在字幕生成过程中，如何根据上下文动态关注事实性与风格化组件？
• RQ3 参考事实性模型能否在风格化字幕训练过程中有效保持事实内容？
• RQ4 事实知识的自适应整合是否能提升在风格化字幕基准上的性能？

主要发现

• 所提模型在幽默/浪漫及正面/负面风格化字幕数据集上均达到当前最先进性能，且未使用额外标注。
• 在情感字幕数据集上，模型在负面集上的BLEU-1/2/3/4得分分别为50.5/31.0/20.1/13.3，在正面集上分别为50.3/31.0/20.1/13.3，优于Senticap及其他基线方法。
• 模型在正面集上的CIDEr得分为60.0，负面集为59.7，显著优于Senticap（分别为54.4和61.8）及其他基线方法。
• 可视化结果证实，模型能自动区分事实性与风格化组件，注意力权重能根据上下文自适应调整。
• 自适应学习机制在风格化字幕训练中有效保持了事实内容，表现为性能提升及与参考模型的注意力对齐。