[论文解读] Dense Captioning with Joint Inference and Visual Context

Linjie Yang, Kevin Tang+2 more|arXiv (Cornell University)|Nov 21, 2016

Multimodal Machine Learning Applications参考文献 41被引用 8

一句话总结

本文提出了一种密集字幕模型，通过联合推理与上下文融合，提升了图像中重叠视觉概念的定位与描述性能。通过使用循环语言模型迭代优化边界框，并整合全局图像上下文，该模型在 Visual Genome V1.0 上实现了 9.31% 的 mAP，相比之前的工作相对提升了 73%。

ABSTRACT

Dense captioning is a newly emerging computer vision topic for understanding images with dense language descriptions. The goal is to densely detect visual concepts (e.g., objects, object parts, and interactions between them) from images, labeling each with a short descriptive phrase. We identify two key challenges of dense captioning that need to be properly addressed when tackling the problem. First, dense visual concept annotations in each image are associated with highly overlapping target regions, making accurate localization of each visual concept challenging. Second, the large amount of visual concepts makes it hard to recognize each of them by appearance alone. We propose a new model pipeline based on two novel ideas, joint inference and context fusion, to alleviate these two challenges. We design our model architecture in a methodical manner and thoroughly evaluate the variations in architecture. Our final model, compact and efficient, achieves state-of-the-art accuracy on Visual Genome for dense captioning with a relative gain of 73\% compared to the previous best algorithm. Qualitative experiments also reveal the semantic capabilities of our model in dense captioning.

研究动机与目标

• 解决图像中密集重叠视觉概念定位的挑战，其中区域提议通常显著重叠。
• 通过利用上下文视觉信息，克服视觉模糊概念（如 'chair' 与 'bench'）识别的困难。
• 通过联合预测区域描述并利用循环建模优化边界框位置，提升字幕生成的准确性。
• 设计统一的深度学习流水线，整合区域级与场景级特征，以实现更好的语义理解。
• 在 Visual Genome 基准上实现密集字幕生成的最先进性能。

提出的方法

• 通过使用循环语言模型（LSTM）进行联合推理，基于每个时间步的预测字幕词，迭代优化边界框预测。
• 通过将区域提议的池化特征与全局图像上下文特征拼接，引入上下文融合，以提升对视觉模糊概念的识别能力。
• 使用区域提议网络（RPN）生成初始候选区域，随后通过 CNN 主干网络（如 VGG-16）提取特征。
• 应用可调交并抑制（IoU 阈值为 NMS_r1 和 NMS_r2）的非极大值抑制（NMS）策略，过滤重叠的提议与最终预测结果。
• 设计多种模型变体（如 S-LSTM、T-LSTM、后期拼接）以比较不同融合与推理策略的有效性。
• 通过验证集优化超参数（提议数量、NMS 阈值），在速度与精度之间取得平衡，最终确定为 300 个提议，NMS_r1=0.6，NMS_r2=0.5。

实验结果

研究问题

• RQ1 在密集字幕生成中，字幕生成与边界框优化之间的联合推理是否能提升定位准确性？
• RQ2 引入全局图像上下文在多大程度上能增强对视觉模糊视觉概念的识别能力？
• RQ3 不同上下文融合与联合推理架构的设计如何影响密集字幕基准上的性能表现？
• RQ4 哪些超参数设置（如提议数量、NMS 阈值）能在精度与推理速度之间实现最佳权衡？
• RQ5 所提出的模型是否在 Visual Genome 数据集的不同版本（如 V1.0 与 V1.2）上具有良好的泛化能力？

主要发现

• 所提模型在 Visual Genome V1.0 上实现了 9.31% 的平均平均精度（mAP），相比之前最先进方法相对提升了 73%。
• 在 Visual Genome V1.2 上，模型在 300 个提议与优化超参数下实现了 9.96% 的 mAP，进一步验证了其鲁棒性与泛化能力。
• 采用后期上下文拼接的 T-LSTM 模型（T-LSTM-concat）表现最佳，证明了后期融合在整合上下文特征方面的有效性。
• 即使仅使用 100 个提议，模型在 V1.0 上仍达到 8.67% 的 mAP，在 V1.2 上达到 9.47% 的 mAP，表明其具备出色的效率与可扩展性。
• 字幕生成过程中间阶段的边界框预测呈现出逐步优化的特征，早期预测已接近真实值并随时间持续改善。
• LSTM 组件占总推理时间的约 30%，表明循环建模虽为显著计算开销，但仍在可管理范围内。