[论文解读] Cross-media Multi-level Alignment with Relation Attention Network

Jinwei Qi, Yuxin Peng+1 more|arXiv (Cornell University)|Apr 25, 2018

Multimodal Machine Learning Applications参考文献 16被引用 5

一句话总结

本文提出跨模态关系注意力网络（CRAN），一种新颖的跨模态检索框架，通过视觉-语言关系注意力机制建模多层次对齐——全局、局部和关系对齐。通过联合捕捉图像与文本模态中细粒度图像块及其相互依赖关系，CRAN 在两个基准数据集上实现了最先进性能，优于10种现有方法。

ABSTRACT

With the rapid growth of multimedia data, such as image and text, it is a highly challenging problem to effectively correlate and retrieve the data of different media types. Naturally, when correlating an image with textual description, people focus on not only the alignment between discriminative image regions and key words, but also the relations lying in the visual and textual context. Relation understanding is essential for cross-media correlation learning, which is ignored by prior cross-media retrieval works. To address the above issue, we propose Cross-media Relation Attention Network (CRAN) with multi-level alignment. First, we propose visual-language relation attention model to explore both fine-grained patches and their relations of different media types. We aim to not only exploit cross-media fine-grained local information, but also capture the intrinsic relation information, which can provide complementary hints for correlation learning. Second, we propose cross-media multi-level alignment to explore global, local and relation alignments across different media types, which can mutually boost to learn more precise cross-media correlation. We conduct experiments on 2 cross-media datasets, and compare with 10 state-of-the-art methods to verify the effectiveness of proposed approach.

研究动机与目标

• 解决现有跨模态检索方法仅关注全局或局部对齐，而忽略关系上下文的局限性。
• 通过建模视觉与文本细粒度图像块之间的内在关系，改进跨模态相关性学习。
• 构建统一框架，整合全局、局部与关系层级对齐，以增强相似性度量。
• 在标准跨模态数据集上，展示其检索准确率优于10种最先进方法。

提出的方法

• 提出一种视觉-语言关系注意力机制，联合关注具有判别性的图像区域与关键词，以及其在视觉与文本上下文中的相互依赖关系。
• 设计一种多层次对齐策略，同时建模完整实例之间的全局对齐、细粒度图像块之间的局部对齐，以及上下文结构之间的关系对齐。
• 利用深度神经网络在共享空间中学习联合表示，实现异质媒体之间的直接余弦相似度计算。
• 集成注意力机制，在特征融合过程中动态加权局部图像块及其关系上下文的重要性。
• 使用对比损失端到端训练模型，以优化跨模态相关性学习。
• 通过在所有基线方法中保持一致的特征提取方式与维度，确保公平比较。

实验结果

研究问题

• RQ1 建模细粒度视觉与文本图像块之间的关系，是否能超越仅考虑全局与局部对齐，提升跨模态相关性学习？
• RQ2 多层次对齐（全局、局部、关系）的整合，如何影响跨模态任务中的检索性能？
• RQ3 所提出的视觉-语言关系注意力机制相较于传统注意力机制或全局池化，在特征表示方面提升了多少？
• RQ4 所提出的CRAN框架是否在标准基准上优于现有最先进方法？

主要发现

• CRAN在MS-COCO与NUS-WIDE两个数据集上均达到最高检索准确率，优于10种最先进方法。
• 消融研究证实，加入局部对齐可提升性能，而进一步引入关系对齐后达到最佳效果。
• 视觉-语言关系注意力模型有效捕捉了局部特征及其关系上下文的互补线索，增强了相关性学习。
• 基于深度学习的方法如CCL表现强劲，但CRAN通过显式建模多层次对齐，超越了它们。
• 与基于深度学习的基线相比，传统方法如CCA与KCCA表现较差，凸显了对更表达性强架构的需求。
• 所提出的CRAN框架在两个数据集上均表现出一致的优越性，表明其具备鲁棒性与泛化能力。