[论文解读] CCL: Cross-modal Correlation Learning with Multi-grained Fusion by Hierarchical Network

Yuxin Peng, Jinwei Qi+2 more|arXiv (Cornell University)|Apr 7, 2017

Advanced Image and Video Retrieval Techniques参考文献 40被引用 5

一句话总结

本文提出CCL，一种分层跨模态相关性学习框架，通过在多粒度融合设置中联合建模模态内与模态间相关性，实现端到端优化。通过联合优化粗粒度样本与细粒度图像块，并结合多任务学习，CCL在六个基准数据集上均取得最先进性能，跨模态检索准确率超越13种SOTA方法。

ABSTRACT

Cross-modal retrieval has become a highlighted research topic for retrieval across multimedia data such as image and text. A two-stage learning framework is widely adopted by most existing methods based on Deep Neural Network (DNN): The first learning stage is to generate separate representation for each modality, and the second learning stage is to get the cross-modal common representation. However, the existing methods have three limitations: (1) In the first learning stage, they only model intra-modality correlation, but ignore inter-modality correlation with rich complementary context. (2) In the second learning stage, they only adopt shallow networks with single-loss regularization, but ignore the intrinsic relevance of intra-modality and inter-modality correlation. (3) Only original instances are considered while the complementary fine-grained clues provided by their patches are ignored. For addressing the above problems, this paper proposes a cross-modal correlation learning (CCL) approach with multi-grained fusion by hierarchical network, and the contributions are as follows: (1) In the first learning stage, CCL exploits multi-level association with joint optimization to preserve the complementary context from intra-modality and inter-modality correlation simultaneously. (2) In the second learning stage, a multi-task learning strategy is designed to adaptively balance the intra-modality semantic category constraints and inter-modality pairwise similarity constraints. (3) CCL adopts multi-grained modeling, which fuses the coarse-grained instances and fine-grained patches to make cross-modal correlation more precise. Comparing with 13 state-of-the-art methods on 6 widely-used cross-modal datasets, the experimental results show our CCL approach achieves the best performance.

研究动机与目标

• 解决现有跨模态检索方法在表示学习过程中忽略模态间相关性与细粒度线索的局限性。
• 通过在第一阶段联合优化模态内与模态间相关性，改进跨模态共享表示学习。
• 通过多粒度建模融合粗粒度样本与细粒度图像块，提升检索准确率。
• 在第二阶段设计多任务学习策略，自适应平衡语义类别与成对相似性约束。
• 在多样化跨模态数据集上验证所提框架的有效性

提出的方法

• 提出一种分层网络结构，包含独立的子网络用于粗粒度与细粒度表示学习。
• 在第一阶段学习中引入模态内重建损失与模态间相关性损失的联合优化，以保留互补上下文信息。
• 在第二阶段采用多任务学习策略，同时施加模态内语义类别约束与模态间成对相似性约束。
• 利用融合子网络将粗粒度与细粒度表示结合，实现更精确的跨模态相关性建模。
• 通过提取并融合图像中的判别性局部图像块与对应文本片段，实现多粒度建模。
• 采用端到端训练与反向传播，联合优化整个网络的联合目标与多任务目标

实验结果

研究问题

• RQ1 模态内与模态间相关性的联合优化是否能提升跨模态检索中独立表示学习的性能？
• RQ2 融合粗粒度样本与细粒度图像块是否能生成更精确的跨模态共享表示？
• RQ3 一种平衡语义类别与成对相似性约束的多任务学习策略是否能提升检索性能？
• RQ4 所提出的多粒度融合框架相较于单粒度或非融合方法，在准确率与鲁棒性方面表现如何？
• RQ5 引入互补的细粒度线索对跨模态相关性学习有何影响？

主要发现

• CCL在六个广泛使用的跨模态数据集上均取得最高的平均平均精度（MAP），超越13种SOTA方法。
• 消融实验表明，仅使用粗粒度或细粒度表示的性能低于完整的多粒度融合方法。
• 第一阶段中模态内与模态间相关性的联合优化所获得的MAP高于仅使用单一类型相关性的方法。
• 第二阶段的多任务学习策略能有效平衡语义类别与成对相似性约束，提升模型泛化能力。
• 尽管CCL的训练时间略长于部分基线方法，但其推理阶段额外开销极小，适用于实际部署。
• 在大规模NUS-WIDE数据集上，CCL在高维表示下仍保持高效率，优于如KCCA等输出维度极高的方法。