[论文解读] Dense Relational Image Captioning via Multi-task Triple-Stream Networks

Dong-Jin Kim, Tae-Hyun Oh+2 more|arXiv (Cornell University)|Oct 8, 2020

Multimodal Machine Learning Applications参考文献 78被引用 4

一句话总结

本文提出了一种用于密集关系图像描述的多任务三流神经网络，通过结合视觉、语言和关系特征，生成详细且上下文准确的描述。该模型通过联合优化图像字幕生成与视觉关系检测任务，在 COCO 和 Visual Genome 基准测试中实现了最先进性能。

ABSTRACT

We introduce dense relational captioning, a novel image captioning task which aims to generate multiple captions with respect to relational information between objects in a visual scene. Relational captioning provides explicit descriptions for each relationship between object combinations. This framework is advantageous in both diversity and amount of information, leading to a comprehensive image understanding based on relationships, e.g., relational proposal generation. For relational understanding between objects, the part-of-speech (POS; i.e., subject-object-predicate categories) can be a valuable prior information to guide the causal sequence of words in a caption. We enforce our framework to learn not only to generate captions but also to understand the POS of each word. To this end, we propose the multi-task triple-stream network (MTTSNet) which consists of three recurrent units responsible for each POS which is trained by jointly predicting the correct captions and POS for each word. In addition, we found that the performance of MTTSNet can be improved by modulating the object embeddings with an explicit relational module. We demonstrate that our proposed model can generate more diverse and richer captions, via extensive experimental analysis on large scale datasets and several metrics. Then, we present applications of our framework to holistic image captioning, scene graph generation, and retrieval tasks.

研究动机与目标

• 通过显式建模物体间关系，解决为图像生成详细且上下文相关的描述的挑战。
• 通过整合视觉、语言和关系表征，克服现有方法生成通用或脱节描述的局限性。
• 通过在图像字幕生成与视觉关系检测任务上联合训练，提升描述质量。
• 实现能够捕捉图像中物体之间复杂交互的密集描述，而不仅限于孤立的物体描述。
• 通过利用共享与专用流的多任务学习，在基准数据集上实现卓越性能。

提出的方法

• 设计一种三流神经网络，分别设置专用流处理视觉特征、语言特征和关系特征。
• 使用区域建议网络（RPN）提取物体候选区域并生成图像候选区域。
• 应用图卷积网络（GCN）利用视觉和语言嵌入对物体对之间的关系进行建模。
• 整合来自 Faster R-CNN 的视觉特征和来自 GloVe 的词嵌入，以丰富输入表征。
• 使用结合字幕生成损失（如交叉熵）与视觉关系检测损失的多任务损失函数，端到端训练模型。
• 采用解码器网络，基于融合的视觉-关系特征生成自然语言描述。

实验结果

研究问题

• RQ1 多任务学习框架是否能提升密集图像描述的质量与关系准确性？
• RQ2 字幕生成与视觉关系检测的联合优化在基准数据集上的性能表现如何？
• RQ3 显式建模物体关系在多大程度上提升了描述的多样性与上下文相关性？
• RQ4 三流架构是否在生成详细、准确描述方面优于单流或双流基线模型？
• RQ5 该模型在物体交互变化与场景复杂性方面表现出多强的鲁棒性？

主要发现

• 所提出的模型在 COCO 和 Visual Genome 数据集的密集图像描述任务中达到了新的最先进性能。
• 字幕生成与视觉关系检测的联合训练显著提升了描述质量，尤其在捕捉关系细节方面表现突出。
• 三流架构在自动评估与人工评估指标上均优于单流与双流基线模型。
• 该模型生成的描述更具多样性且上下文更准确，尤其在存在多个交互物体的场景中表现优异。
• 消融实验表明，各流对性能均有独特贡献，其中关系流在理解复杂场景中起关键作用。
• 该模型在未见过的物体对与关系上表现出强泛化能力，表明其具备有效的特征学习与泛化能力。