[论文解读] Deep Compositional Captioning: Describing Novel Object Categories without Paired Training Data

Lisa Anne Hendricks, Subhashini Venugopalan+4 more|arXiv (Cornell University)|Nov 17, 2015

Multimodal Machine Learning Applications参考文献 33被引用 14

一句话总结

本文提出了一种新型图像与视频字幕生成模型——深度组合字幕模型（DCC），能够为训练数据中未配对的图像-句子对中未见过的新物体类别生成描述。通过利用未配对的图像与文本数据，并从语义相似的已知物体迁移知识，DCC 能够为未见过的物体生成连贯且上下文准确的字幕，在 MSCOCO 和 ImageNet 数据集上均展现出优于基线模型的定性与定量性能表现。

ABSTRACT

While recent deep neural network models have achieved promising results on the image captioning task, they rely largely on the availability of corpora with paired image and sentence captions to describe objects in context. In this work, we propose the Deep Compositional Captioner (DCC) to address the task of generating descriptions of novel objects which are not present in paired image-sentence datasets. Our method achieves this by leveraging large object recognition datasets and external text corpora and by transferring knowledge between semantically similar concepts. Current deep caption models can only describe objects contained in paired image-sentence corpora, despite the fact that they are pre-trained with large object recognition datasets, namely ImageNet. In contrast, our model can compose sentences that describe novel objects and their interactions with other objects. We demonstrate our model's ability to describe novel concepts by empirically evaluating its performance on MSCOCO and show qualitative results on ImageNet images of objects for which no paired image-caption data exist. Further, we extend our approach to generate descriptions of objects in video clips. Our results show that DCC has distinct advantages over existing image and video captioning approaches for generating descriptions of new objects in context.

研究动机与目标

• 解决现有深度字幕模型无法描述配对图像-句子数据集中不存在的新物体类别这一局限性。
• 通过从语义相似的已知物体向新物体迁移知识，实现组合式字幕生成。
• 开发一种框架，结合在未配对图像与文本数据上的独立训练，以及在配对数据上的联合微调，以提升泛化能力。
• 将模型能力从图像扩展至视频字幕生成，实现对时间序列视觉中未见物体的描述。

提出的方法

• 该模型将词汇分类与语言建模解耦，分别在未配对的图像与文本数据上进行训练，随后在配对的图像-句子数据上进行联合微调。
• 多模态融合层通过在共享嵌入空间中对齐视觉与语言表征，实现从已知物体到新物体的知识迁移。
• 知识迁移通过语义相似性实现：利用外部文本语料将新物体与已知概念关联，从而实现组合式字幕生成。
• 模型采用一种迁移机制（DT），根据新物体类别与已知物体的语义相似性，自适应地调整语言模型特征以适配新类别。
• 在视频字幕任务中，模型将相同架构扩展至时间序列视频片段，使用视频级特征与迁移学习。
• 该框架通过利用已知的语言模式与视觉特征，实现零样本字幕生成。

实验结果

研究问题

• RQ1 深度字幕模型能否在任何配对图像-句子训练数据中均未出现的新物体类别上生成准确描述？
• RQ2 利用未配对的图像与文本数据，从已知物体向新物体类别迁移知识的效率如何？
• RQ3 该模型在无任何配对视频-字幕示例的情况下，对视频序列中新物体的泛化能力达到何种程度？
• RQ4 外部文本语料在实现对未见视觉概念的组合式泛化中起到何种作用？
• RQ5 在新物体类别上的流畅性、相关性与准确性方面，该模型相较于基线字幕模型的性能表现如何？

主要发现

• DCC 在 MSCOCO 上实现了显著的性能提升，能够为训练过程中未见的保留物体类别生成准确描述，展现出有效的零样本泛化能力。
• 在 ImageNet 中新物体的图像上，DCC 生成了定性上相关且上下文准确的字幕，即使这些物体在配对数据中完全不存在。
• 在知识迁移后，DCC 在视频字幕任务中对新物体（如“鲸鱼”、“狐狸”和“仓鼠”）的性能得到提升，最可能的字幕能正确识别物体及其上下文。
• 使用 ILSVRC 视频数据进行迁移学习时，视频字幕的 METEOR 分数保持稳定（28.8），而 F1 分数从 0.0 提升至 13.7，表明对新物体类别的检测精度显著提高。
• 定性结果表明，DCC 能为新物体生成多样且合理的字幕，但部分错误源于误分类（如将“狐狸”误识别为“狗”）或因迁移效果不佳导致的语法问题。
• 该模型并非简单地从训练数据中替换词语，而是组合生成新的、上下文恰当的句子，如迁移后描述从“一个女人在骑滑水摩托”变为“一只鲸鱼正在游泳”，表明其具备创造性组合能力。