[论文解读] Cross-modal Common Representation Learning by Hybrid Transfer Network

Xin Huang, Yuxin Peng+1 more|arXiv (Cornell University)|Jun 1, 2017

Multimodal Machine Learning Applications参考文献 15被引用 14

一句话总结

本文提出跨模态混合迁移网络（CHTN），一种统一的深度学习框架，通过联合利用模态共享迁移与层共享相关性学习，将大规模单模态数据集（如 ImageNet）中的知识迁移至跨模态检索任务（如图文检索）。CHTN 在三个基准数据集上达到最先进性能，NUS-WIDE-10k 数据集上的平均平均精度（mAP）最高达 0.518。

ABSTRACT

DNN-based cross-modal retrieval is a research hotspot to retrieve across different modalities as image and text, but existing methods often face the challenge of insufficient cross-modal training data. In single-modal scenario, similar problem is usually relieved by transferring knowledge from large-scale auxiliary datasets (as ImageNet). Knowledge from such single-modal datasets is also very useful for cross-modal retrieval, which can provide rich general semantic information that can be shared across different modalities. However, it is challenging to transfer useful knowledge from single-modal (as image) source domain to cross-modal (as image/text) target domain. Knowledge in source domain cannot be directly transferred to both two different modalities in target domain, and the inherent cross-modal correlation contained in target domain provides key hints for cross-modal retrieval which should be preserved during transfer process. This paper proposes Cross-modal Hybrid Transfer Network (CHTN) with two subnetworks: Modal-sharing transfer subnetwork utilizes the modality in both source and target domains as a bridge, for transferring knowledge to both two modalities simultaneously; Layer-sharing correlation subnetwork preserves the inherent cross-modal semantic correlation to further adapt to cross-modal retrieval task. Cross-modal data can be converted to common representation by CHTN for retrieval, and comprehensive experiment on 3 datasets shows its effectiveness.

研究动机与目标

• 解决深度跨模态检索中跨模态训练数据不足的挑战。
• 实现从大规模单模态源域（如 ImageNet）到跨模态目标域（如图文）的有效知识迁移。
• 在知识迁移过程中保留固有的跨模态语义相关性，以提升检索性能。
• 设计一种统一架构，同时执行单模态知识迁移与跨模态相关性学习。
• 证明混合迁移在提升多样化跨模态数据集检索准确率方面的有效性。

提出的方法

• 提出一种双流深度神经网络，包含两个子网络：模态共享迁移子网络与层共享相关性子网络。
• 利用源域与目标域中共享的模态（如图像）作为桥梁，同时将知识迁移至图像与文本模态。
• 引入源域监督损失，对齐源域（仅图像）与目标域（图文）之间的高层语义特征。
• 实现一个层共享相关性子网络，连接图像与文本流的最终全连接层，以保留跨模态语义关系。
• 通过成对共现与语义相关性信号端到端训练模型，学习共享表示空间。
• 联合优化跨模态相似性与源域知识迁移，以增强特征泛化能力。

实验结果

研究问题

• RQ1 能否有效利用大规模单模态数据集（如 ImageNet）的知识，以提升跨模态检索性能？
• RQ2 在知识迁移过程中，如何保留目标域中固有的跨模态语义相关性？
• RQ3 单模态迁移与跨模态相关性学习在提升检索准确率方面的相对贡献如何？
• RQ4 统一架构能否同时实现模态桥接知识迁移与跨模态相关性学习？
• RQ5 所提出的混合迁移机制是否在标准跨模态检索基准上优于现有最先进方法？

主要发现

• 在 Wikipedia 数据集上，CHTN 达到 0.508 的最高平均平均精度（mAP），优于所有 10 种对比的最先进方法。
• 在 NUS-WIDE-10k 数据集上，CHTN 实现 0.518 的 mAP，为所有对比方法中的最佳表现，展现出强大的泛化能力。
• 在 Pascal Sentences 数据集上，CHTN 达到 0.472 的 mAP，显著优于次佳方法 CMDN 的 0.456，差距达 0.016 mAP。
• 消融实验表明，若移除层共享相关性子网络（CHTN (NoShare)），mAP 平均下降 0.017，证实其重要性。
• 若移除源域监督（CHTN (NoSrcSp)），mAP 平均下降 0.025，表明源知识提供了关键的语义先验。
• 模态共享迁移子网络贡献显著，比较 CHTN (OnlyCross) 与 CHTN (NoShare) 可见 mAP 提升 0.021，证明其在知识传播中的价值。