[论文解读] 3M: Multi-style image caption generation using Multi-modality features under Multi-UPDOWN model

Chengxi Li, Brent Harrison|arXiv (Cornell University)|Mar 20, 2021

Multimodal Machine Learning Applications参考文献 20被引用 4

一句话总结

该论文提出3M模型，一种多风格图像字幕生成模型，通过在多模态特征——ResNeXt视觉特征与DenseCap生成的文本特征——之间融合，结合Multi-UPDOWN注意力机制，生成多样化且风格可控的字幕。该模型在FlickrStyle10K和PERSONALITY-CAPTIONS数据集上达到最先进性能，在BLEU、CIDEr、ROUGE-L和SPICE指标上均优于先前方法，同时保持了良好的风格对齐与上下文相关性。

ABSTRACT

In this paper, we build a multi-style generative model for stylish image captioning which uses multi-modality image features, ResNeXt features and text features generated by DenseCap. We propose the 3M model, a Multi-UPDOWN caption model that encodes multi-modality features and decode them to captions. We demonstrate the effectiveness of our model on generating human-like captions by examining its performance on two datasets, the PERSONALITY-CAPTIONS dataset and the FlickrStyle10K dataset. We compare against a variety of state-of-the-art baselines on various automatic NLP metrics such as BLEU, ROUGE-L, CIDEr, SPICE, etc. A qualitative study has also been done to verify our 3M model can be used for generating different stylized captions.

研究动机与目标

• 解决现有多风格图像字幕生成模型在上下文定位与风格一致性方面存在的局限性。
• 通过将多模态特征——ResNeXt视觉特征与DenseCap生成的文本特征——整合到统一的字幕生成框架中，提升字幕质量。
• 通过融合局部（基于区域）与全局（图像级）视觉特征，并结合风格条件控制，使单一模型能够生成多样且风格准确的字幕。
• 通过在基准数据集上的定量与定性分析，评估多模态融合与多风格组件的有效性。
• 通过分析模型在输入特征不完整或错误时的行为，揭示字幕生成失败的原因。

提出的方法

• 3M模型采用Multi-UPDOWN架构，包含两个并行的编码器-解码器模块，分别处理不同模态：ResNeXt特征与DenseCap文本特征。
• 每种子模态均使用专用的UPDOWN注意力机制，在每个解码步骤中选择相关联的视觉与文本特征。
• 风格向量通过将独热编码的个性标签经学习嵌入与线性投影后得到，并与词嵌入拼接，以条件化生成过程。
• 多模态特征通过解码器中的晚期交互实现融合，模型在条件化于风格向量的同时，同时关注视觉与文本特征。
• 模型采用软融合方式，整合来自两个预训练网络的特征：ResNeXt用于全局图像表征，DenseCap用于密集的局部字幕特征。
• 训练采用监督学习与交叉熵损失，评估使用标准NLP指标，包括BLEU、ROUGE-L、CIDEr、SPICE与METEOR。

实验结果

研究问题

• RQ1 与单模态基线相比，多模态特征（ResNeXt与DenseCap）是否能提升多风格图像字幕的质量与多样性？
• RQ2 通过风格向量集成多风格组件，是否能增强模型生成与特定个性相符字幕的能力？
• RQ3 融合局部（密集字幕）与全局（ResNeXt）特征，对字幕的相关性与上下文准确性有何影响？
• RQ4 当输入文本特征存在噪声或错误时，模型在多大程度上仍能保持风格一致性与图像上下文？
• RQ5 消融研究显示，各架构组件（多风格、多模态、Multi-UPDOWN）对整体字幕质量的贡献如何？

主要发现

• 在FlickrStyle10K与PERSONALITY-CAPTIONS数据集上，3M模型在所有NLP指标上均优于基线UPDOWN模型，证明了多模态融合的有效性。
• 在FlickrStyle10K数据集上，3M在CIDEr（26.8）、ROUGE-L（50.2）与SPICE（24.1）指标上均优于最先进方法SF-LSTM，尽管SF-LSTM专为单风格生成设计。
• 消融研究证实，若移除多风格组件，所有指标均显著下降，证明其在风格控制与字幕多样性中的关键作用。
• 仅使用文本特征的模型生成的唯一词数更少、表达力更低；而仅使用ResNeXt特征的模型在相关性方面表现较差；完整模型在ROUGE-L（50.2）、CIDEr（26.8）与SPICE（24.1）上达到最佳平衡。
• 定性分析表明，当存在有效文本特征时，模型能有效利用它们（如图3中的R2-R3）；而当文本特征有误时，模型则依赖ResNeXt特征以维持连贯性（如图3中的R1）。
• 模型能够从同一张图像生成多种不同风格的字幕，并能通过分析特征输入与风格条件，识别并上下文化错误，如不完整字幕或错误短语。