[论文解读] DenseCap: Fully Convolutional Localization Networks for Dense Captioning

Justin Johnson, Andrej Karpathy+1 more|arXiv (Cornell University)|Nov 24, 2015

Multimodal Machine Learning Applications参考文献 48被引用 83

一句话总结

本文提出DenseCap，一种全卷积定位网络（FCLN），通过一种新型可微分密集定位层，实现端到端的密集字幕生成，联合定位并描述图像中的多个区域。该模型在Visual Genome数据集上，在生成与检索任务中均达到最先进性能，相比先前方法在准确率与速度上均有提升，且无需区域建议网络。

ABSTRACT

We introduce the dense captioning task, which requires a computer vision system to both localize and describe salient regions in images in natural language. The dense captioning task generalizes object detection when the descriptions consist of a single word, and Image Captioning when one predicted region covers the full image. To address the localization and description task jointly we propose a Fully Convolutional Localization Network (FCLN) architecture that processes an image with a single, efficient forward pass, requires no external regions proposals, and can be trained end-to-end with a single round of optimization. The architecture is composed of a Convolutional Network, a novel dense localization layer, and Recurrent Neural Network language model that generates the label sequences. We evaluate our network on the Visual Genome dataset, which comprises 94,000 images and 4,100,000 region-grounded captions. We observe both speed and accuracy improvements over baselines based on current state of the art approaches in both generation and retrieval settings.

研究动机与目标

• 将目标检测与图像字幕生成统一为单一联合任务：密集字幕，该任务需对图像中的多个区域进行定位与自然语言描述。
• 开发一种全卷积架构，通过单次前向传播处理图像，避免依赖外部区域建议。
• 通过一种新型可微分定位层，实现联合定位与字幕生成系统的端到端训练。
• 在大规模基准测试中，提升生成与检索设置下的性能与效率。
• 通过在测试时使用自然语言查询，实现开放世界目标检测，以定位任意视觉概念。

提出的方法

• 模型使用卷积神经网络（CNN）提取图像特征，随后通过一种新型全可微分密集定位层，利用双线性插值提取激活值，预测区域建议。
• 该定位层插入网络中，支持通过区域建议进行反向传播，实现无需区域建议网络的端到端训练。
• 区域特征经全连接层处理后，输入循环神经网络（RNN）语言模型，生成描述性字幕。
• 整个网络通过单次优化过程端到端训练，联合优化检测与字幕生成目标。
• 推理时，模型通过定位层生成前100个区域建议，随后由RNN对这些建议进行打分并生成字幕。
• 该方法通过使用自然语言查询在测试时定位区域，支持开放世界检测，无需预定义物体类别。

实验结果

研究问题

• RQ1 单一深度学习模型能否以端到端可训练方式，联合执行密集定位与自然语言字幕生成？
• RQ2 与不可微分的区域建议方法相比，可微分全卷积定位层在性能与效率方面有何提升？
• RQ3 该模型在测试时使用自然语言查询进行开放世界检测，其泛化能力达到何种程度？
• RQ4 所提出的FCLN架构是否在Visual Genome数据集的生成与检索设置下，均优于现有最先进模型？
• RQ5 该模型能否通过自由形式描述，不仅定位物体，还能定位物体部件、属性及物体间交互？

主要发现

• FCLN模型在排名与定位任务上均优于全图RNN基线模型，将中位排名从13降低至5，将IoU为0.5时的定位召回率从0.053提升至0.153。
• 模型优于Region RNN基线模型，将中位排名从7降低至5，将IoU为0.5时的定位召回率从0.108提升至0.153。
• 模型在检索任务中表现优异，显示出查询短语与定位图像区域之间极强的对齐能力。
• 定性结果表明，模型成功定位了小型物体、部件、属性及动作，如“man playing tennis outside”和“chrome exhaust pipe”。
• 模型实现了开放世界目标检测，能正确定位如“head of a giraffe”和“white tennis shoes”等短语，但在空间区分上表现较弱，如“front wheel of a bus”。
• 模型消除了对不可微分区域建议机制（如RPN或EdgeBoxes）的依赖，实现完全端到端训练与更快的推理速度。