[论文解读] Diverse Image Captioning with Context-Object Split Latent Spaces

Shweta Mahajan, Stefan Roth|arXiv (Cornell University)|Nov 2, 2020

Multimodal Machine Learning Applications参考文献 53被引用 25

一句话总结

该论文提出COS-CVAE，一种上下文-对象分离的潜在变量模型，通过利用图像和字幕之间的上下文相似性进行伪监督，从而提升多样化图像字幕生成性能。通过将潜在空间分解为上下文和对象两部分，该模型即使在面对未见过的对象时，也能生成更多样化、更准确的字幕，在COCO数据集上达到SOTA性能，对未见对象图像的F1得分为68.1%。

ABSTRACT

Diverse image captioning models aim to learn one-to-many mappings that are innate to cross-domain datasets, such as of images and texts. Current methods for this task are based on generative latent variable models, e.g. VAEs with structured latent spaces. Yet, the amount of multimodality captured by prior work is limited to that of the paired training data -- the true diversity of the underlying generative process is not fully captured. To address this limitation, we leverage the contextual descriptions in the dataset that explain similar contexts in different visual scenes. To this end, we introduce a novel factorization of the latent space, termed context-object split, to model diversity in contextual descriptions across images and texts within the dataset. Our framework not only enables diverse captioning through context-based pseudo supervision, but extends this to images with novel objects and without paired captions in the training data. We evaluate our COS-CVAE approach on the standard COCO dataset and on the held-out COCO dataset consisting of images with novel objects, showing significant gains in accuracy and diversity.

研究动机与目标

• 为解决现有多样化图像字幕模型中多模态能力受限的问题，这些模型受限于成对的训练数据。
• 通过利用图像间共享的上下文描述，超越标注训练对的范围，提升字幕多样性。
• 实现对训练中未出现过的新型对象图像的准确且多样化的字幕生成。
• 开发一种变分自编码器框架，支持高效并行采样多样化字幕。

提出的方法

• 提出一种上下文-对象分离的潜在空间（COS），将潜在表征分解为上下文和对象两部分。
• 利用具有相似场景的图像中的上下文标注，提供伪监督，增强潜在空间中的多模态多样性。
• 采用具有结构化潜在变量的条件变分自编码器（CVAE），建模给定图像的字幕条件分布。
• 应用束搜索约束（CBS），在保持多样性的同时提升字幕质量。
• 利用注意力机制和基于区域的特征，使生成的字幕与视觉内容对齐。
• 使用成对图像-字幕数据与语义相似图像提供的基于上下文的伪监督相结合的方式进行模型训练。

实验结果

研究问题

• RQ1 基于上下文的伪监督是否能超越成对训练数据的限制，提升图像字幕的多样性和准确性？
• RQ2 分解的潜在空间是否能有效解耦上下文与对象级别的信息，从而改善字幕生成？
• RQ3 该模型能否泛化到训练数据中未出现过的新型对象图像？
• RQ4 所提出的COS-CVAE框架是否在标准基准上，于多样性和准确性方面均优于现有SOTA模型？

主要发现

• COS-CVAE在未见对象图像的COCO数据集上达到68.1%的F1得分，显著优于先前方法。
• 该模型即使仅采样5个字幕，也能生成多样且准确的字幕，CIDEr得分体现其相关性与多样性。
• 对未见对象的提及F1得分从5次采样时的62.5%提升至100次采样时的65.0%，表明更多样化的采样提升了泛化能力。
• 在COS-CVAE中加入束搜索约束（CBS）使F1得分进一步提升3.1个百分点，证实了结构化解码的优势。
• COS-CVAE在所有未见对象类别上的平均F1得分为65.0%，较之前SOTA高出超过16个百分点。
• 该模型实现了高效并行采样多样化字幕，克服了先前方法中束搜索计算效率低下的问题。