[论文解读] Context and Attribute Grounded Dense Captioning

Guojun Yin, Lu Sheng+4 more|arXiv (Cornell University)|Apr 2, 2019

Multimodal Machine Learning Applications参考文献 38被引用 6

一句话总结

该论文提出了一种上下文与属性对齐的密集字幕模型（CAG-Net），这是一种端到端框架，通过非局部相似性图整合多尺度上下文线索（局部、邻近、全局）实现特征交互，从而增强密集字幕生成。该方法进一步通过从粗到细的语言属性监督提升字幕质量，在 Visual Genome 数据集上实现了最先进性能，RPN 的 mAP 达到 9.144%，GT 的 mAP 达到 33.412%。

ABSTRACT

Dense captioning aims at simultaneously localizing semantic regions and describing these regions-of-interest (ROIs) with short phrases or sentences in natural language. Previous studies have shown remarkable progresses, but they are often vulnerable to the aperture problem that a caption generated by the features inside one ROI lacks contextual coherence with its surrounding context in the input image. In this work, we investigate contextual reasoning based on multi-scale message propagations from the neighboring contents to the target ROIs. To this end, we design a novel end-to-end context and attribute grounded dense captioning framework consisting of 1) a contextual visual mining module and 2) a multi-level attribute grounded description generation module. Knowing that captions often co-occur with the linguistic attributes (such as who, what and where), we also incorporate an auxiliary supervision from hierarchical linguistic attributes to augment the distinctiveness of the learned captions. Extensive experiments and ablation studies on Visual Genome dataset demonstrate the superiority of the proposed model in comparison to state-of-the-art methods.

研究动机与目标

• 为解决密集字幕中的孔径问题，即区域描述缺乏与周围图像内容的上下文连贯性。
• 通过自适应消息传递机制，结合多尺度视觉上下文（局部、邻近、全局）以提升字幕准确性。
• 通过从粗到细的层次化语言属性监督，在训练过程中增强生成字幕的判别能力。
• 在大规模基准（Visual Genome）上验证上下文特征提取与属性对齐的有效性。

提出的方法

• 上下文特征提取器利用非局部相似性图，建模目标区域与 k 个最近邻区域之间的特征亲和力与空间邻近性，实现多尺度消息传递。
• 通过学习到的注意力权重，融合来自邻近区域和全局区域的上下文特征，以增强目标区域的表征。
• 属性对齐字幕生成器采用基于 LSTM 的解码器，并在粗粒度和细粒度两个层次上引入层次化语言属性（如谁、什么、哪里）的辅助监督。
• 通过在不同 LSTM 层上应用独立的损失函数，实现从粗到细的属性监督，提升预测关键词与视觉内容之间的对齐性。
• 框架采用端到端训练，联合优化区域定位（RPN）与字幕生成，以真实字幕和语言属性作为监督信号。
• 模型利用 Faster R-CNN 生成区域提议，并在字幕解码过程中融合上下文与属性信号。

Figure 1: Dense captioning with different levels of contextual interactions: (i) without any contextual cues (marked by blue ) [ 20 ] , (ii) with guidance from the global cue (marked by red ) [ 34 ] , and (iii) with mutual interactions from neighboring (marked by orange ) and global visual informati

实验结果

研究问题

• RQ1 与仅依赖局部特征相比，引入多尺度上下文线索（邻近与全局）如何提升密集字幕性能？
• RQ2 使用非局部相似性图进行目标区域与邻近区域之间特征交互，其影响是什么？
• RQ3 从粗到细的语言属性监督是否能提升生成字幕的判别性与准确性？
• RQ4 邻近区域数量（k）如何影响上下文特征提取器的性能？
• RQ5 所提方法在 Visual Genome 基准上是否在定位与字幕生成两方面均优于最先进方法？

主要发现

• 采用非局部相似性图的上下文特征提取器优于使用全连接层、最大池化或平均池化层的基线方法，在 RPN 上达到 9.144% 的 mAP，在 GT 上达到 33.412% 的 mAP。
• 当 k=20 时性能最佳，优于 k=10、30、50 和 100，在 mAP 与字幕准确率上均表现更优。
• 基于 IoU 的 '最近' 选择方式优于 '随机' 选择，证实空间与语义邻近性有助于提升上下文整合效果。
• 从粗到细的语言属性监督显著提升了字幕质量，增强了特征判别性并减少了歧义。
• 消融实验表明，上下文特征提取与属性对齐均对性能提升有独立贡献，并存在协同增益效应。
• 所提出的 CAG-Net 在 Visual Genome 数据集上实现了最先进结果，展现出在联合区域定位与描述生成任务中的卓越性能。

Figure 2: The architecture of CAG-Net. The multi-scale features are generated by the proposed Contextual Feature Extractor after region proposals. Then the local (in blue) feature of the target region and multi-scale context cues, i.e . , global (in red) and neighboring (in orange), broadcast into t