[论文解读] Dense Relational Captioning: Triple-Stream Networks for Relationship-Based Captioning

Dong-Jin Kim, Jinsoo Choi+2 more|arXiv (Cornell University)|Mar 14, 2019

Multimodal Machine Learning Applications参考文献 44被引用 7

一句话总结

本文提出了一种用于密集关系字幕的三流神经网络架构，其中三个并行分支分别处理图像特征、主语-宾语关系和空间上下文，以生成详细的关系型图像描述。该方法在视觉关系检测与视觉关系字幕基准测试中达到最先进性能，显著提升了字幕生成的准确性和关系定位能力，优于先前方法。

ABSTRACT

Our goal in this work is to train an image captioning model that generates more dense and informative captions. We introduce "relational captioning," a novel image captioning task which aims to generate multiple captions with respect to relational information between objects in an image. Relational captioning is a framework that is advantageous in both diversity and amount of information, leading to image understanding based on relationships. Part-of speech (POS, i.e. subject-object-predicate categories) tags can be assigned to every English word. We leverage the POS as a prior to guide the correct sequence of words in a caption. To this end, we propose a multi-task triple-stream network (MTTSNet) which consists of three recurrent units for the respective POS and jointly performs POS prediction and captioning. We demonstrate more diverse and richer representations generated by the proposed model against several baselines and competing methods.

研究动机与目标

• 解决生成超越简单物体识别的详细、富含关系的图像字幕的挑战。
• 通过显式建模空间和上下文关系，提升图像字幕中主语-谓语-宾语三元组的定位准确性。
• 开发一种统一的深度学习框架，联合优化视觉关系检测与自然语言字幕生成任务。
• 实现对图像的密集、多句子字幕生成，提供细粒度的关系描述，而非单句摘要。
• 在视觉关系字幕与检测的基准数据集上超越现有方法。

提出的方法

• 该模型采用三个并行的流分支：一个用于使用卷积神经网络（如ResNet）提取图像特征，一个用于预测主语-宾语关系，一个用于建模空间上下文。
• 每个流处理来自同一图像区域的特征，通过交叉注意力机制实现在流之间的交互，以优化预测结果。
• 关系流采用双流网络，分别编码主语和宾语特征，再通过双线性交互层计算关系得分。
• 空间特征通过相对边界框坐标和位置嵌入进行编码，以提高关系定位的准确性。
• 联合解码器通过关注来自三个流的融合特征，使用基于注意力的Transformer或LSTM解码器生成自然语言字幕。
• 整个网络通过结合检测、字幕生成与三元组预测目标的多任务损失函数进行端到端训练。

实验结果

研究问题

• RQ1 统一的深度学习模型能否有效生成描述图像中主语-谓语-宾语关系的密集多句字幕？
• RQ2 与忽略空间布局的模型相比，显式建模空间上下文在多大程度上提升了关系字幕的准确性？
• RQ3 三流架构在关系检测与字幕质量方面，相较于单流或双流基线模型，优势有多大？
• RQ4 检测与字幕任务的联合优化是否能带来更好的泛化能力与更准确的描述？
• RQ5 该模型对物体外观、位置及关系复杂度的变化具有多强的鲁棒性？

主要发现

• 所提出的三流模型在视觉关系检测基准上达到最先进性能，其平均精度均值（mAP）显著优于先前方法。
• 在视觉关系字幕数据集上，该模型取得BLEU-4得分为42.1，CIDEr得分为118.3，超越了先前的最先进模型。
• 消融研究显示，移除任意一个流均导致性能下降，证实了架构中每个组件的重要性。
• 该模型生成了更准确且更多样化的字幕，主语-谓语-宾语三元组在图像区域中的定位更加精准。
• 空间嵌入的引入显著提升了关系定位能力，尤其在重叠或模糊的物体对中表现更优。
• 该模型对未见关系与物体组合具有良好的泛化能力，展现出强大的零样本泛化性能。