[论文解读] Dense Image Representation with Spatial Pyramid VLAD Coding of CNN for Locally Robust Captioning

Andrew Shin, Masataka Yamaguchi+2 more|arXiv (Cornell University)|Mar 30, 2016

Multimodal Machine Learning Applications参考文献 24被引用 6

一句话总结

本文提出了一种基于选择性搜索检测的子区域CNN特征的空间金字塔VLAD编码方法，以生成紧凑且局部鲁棒的图像表征，从而提升图像字幕生成效果。通过在多个空间层级上应用VLAD编码，该方法将原始CNN特征维度降低至3%，同时显著提升了定位准确性，通常在描述次要对象方面优于人工标注的字幕。

ABSTRACT

The workflow of extracting features from images using convolutional neural networks (CNN) and generating captions with recurrent neural networks (RNN) has become a de-facto standard for image captioning task. However, since CNN features are originally designed for classification task, it is mostly concerned with the main conspicuous element of the image, and often fails to correctly convey information on local, secondary elements. We propose to incorporate coding with vector of locally aggregated descriptors (VLAD) on spatial pyramid for CNN features of sub-regions in order to generate image representations that better reflect the local information of the images. Our results show that our method of compact VLAD coding can match CNN features with as little as 3% of dimensionality and, when combined with spatial pyramid, it results in image captions that more accurately take local elements into account.

研究动机与目标

• 解决标准CNN特征在捕捉对准确字幕生成至关重要的局部和次要图像元素方面的局限性。
• 通过子区域的紧凑特征编码，提升图像字幕生成的质量。
• 通过在区域提议的CNN特征上应用空间金字塔VLAD，保留紧凑表征中的空间上下文信息。
• 在大幅降低特征维度的同时，保持或提升字幕生成的准确性，实现高性能表现。

提出的方法

• 从选择性搜索生成的多个子区域中提取CNN特征，重点关注局部和次要对象。
• 对CNN特征应用局部聚合描述符（VLAD）编码，将特征聚类为词袋以实现紧凑表征。
• 通过将特征图划分为分层的空间区块，实现空间金字塔VLAD，以保留空间结构。
• 在VLAD编码后使用主成分分析（PCA）降低维度，使特征维度最低降至原始CNN特征大小的3%。
• 将VLAD编码后的特征与基于LSTM的字幕生成模型结合，生成细节丰富且具有局部感知能力的字幕。
• 通过消融实验优化超参数，包括聚类数量和空间金字塔层级数。

实验结果

研究问题

• RQ1 对子区域的CNN特征进行VLAD编码，能否生成比整图CNN特征更优地保留局部信息的紧凑图像表征？
• RQ2 与标准VLAD或原始CNN特征相比，空间金字塔VLAD在图像字幕生成中如何提升定位准确性？
• RQ3 在对CNN特征应用VLAD编码时，维度压缩与字幕生成性能之间的最优权衡是什么？
• RQ4 所提出的方法生成的字幕是否比人工标注的参考字幕更准确地描述了局部和次要对象？
• RQ5 将VLAD编码的子区域特征与标准CNN特征结合，对整体字幕生成性能和鲁棒性有何影响？

主要发现

• VLAD编码将CNN特征维度降低至原始大小的3%，同时保持了相近的性能表现。
• 空间金字塔VLAD显著提升了字幕生成质量，增强了模型描述局部和次要对象的能力。
• 在多个案例中，所提方法生成的字幕在描述局部元素方面比人工标注的参考字幕包含更多细节。
• 该模型在捕捉次要对象方面优于标准CNN特征，尤其在局部内容丰富的图像中表现更优。
• 将VLAD编码特征与标准CNN特征结合后，评估得分略有下降，原因可能是维度增加和收敛问题。
• 对VLAD编码特征应用PCA后性能进一步提升，表明在两种特征类型上均进行降维优化具有进一步优化潜力。