[论文解读] Deep Cross-media Knowledge Transfer

Xin Huang, Yuxin Peng|arXiv (Cornell University)|Mar 10, 2018

Multimodal Machine Learning Applications参考文献 39被引用 3

一句话总结

本文提出深度跨模态知识迁移（DCKT），一种两级迁移框架，通过联合减少媒体级和关联级的域差异，将大规模源数据集（XMediaNet）中的跨媒体语义知识与跨媒体关联知识迁移至小规模目标数据集。DCKT 在跨媒体检索准确率方面取得显著提升，目标数据集（如 Wikipedia 和 Pascal Sentences）的 MAP 分数最高提升 10%，即使在域偏移和标签空间不匹配的情况下也表现出强鲁棒性。

ABSTRACT

Cross-media retrieval is a research hotspot in multimedia area, which aims to perform retrieval across different media types such as image and text. The performance of existing methods usually relies on labeled data for model training. However, cross-media data is very labor consuming to collect and label, so how to transfer valuable knowledge in existing data to new data is a key problem towards application. For achieving the goal, this paper proposes deep cross-media knowledge transfer (DCKT) approach, which transfers knowledge from a large-scale cross-media dataset to promote the model training on another small-scale cross-media dataset. The main contributions of DCKT are: (1) Two-level transfer architecture is proposed to jointly minimize the media-level and correlation-level domain discrepancies, which allows two important and complementary aspects of knowledge to be transferred: intra-media semantic and inter-media correlation knowledge. It can enrich the training information and boost the retrieval accuracy. (2) Progressive transfer mechanism is proposed to iteratively select training samples with ascending transfer difficulties, via the metric of cross-media domain consistency with adaptive feedback. It can drive the transfer process to gradually reduce vast cross-media domain discrepancy, so as to enhance the robustness of model training. For verifying the effectiveness of DCKT, we take the largescale dataset XMediaNet as source domain, and 3 widelyused datasets as target domain for cross-media retrieval. Experimental results show that DCKT achieves promising improvement on retrieval accuracy.

研究动机与目标

• 解决基于深度学习的检索系统中跨媒体标注数据有限的挑战。
• 实现从大规模多模态数据集（XMediaNet）向小规模、多样化目标数据集的有效知识迁移，目标数据集的标签空间可能不同。
• 减少源域与目标域之间在跨媒体检索中的巨大域差异，尤其是在标签不完全重叠的情况下。
• 通过渐进式、自适应的训练策略，优先选择迁移难度较高的样本，提升模型鲁棒性与检索准确率。

提出的方法

• 提出一种两级迁移架构，同时最小化源域与目标域之间的媒体级差异（同模态分布偏移）和关联级差异（跨模态对齐）。
• 引入一种渐进式迁移机制，利用跨媒体域一致性度量并结合自适应反馈，按迁移难度递增的顺序迭代选择训练样本。
• 采用包含共享编码器与模态特异性编码器的深度神经网络，将图像与文本数据映射到统一嵌入空间，以支持跨媒体检索。
• 使用多任务损失函数，结合对比损失以实现同模态对齐，以及跨模态排序损失以学习跨模态关联。
• 采用动态采样策略，每轮迭代中选择的样本数量由超参数 α 控制，以平衡探索与泛化能力。
• 利用在源域（XMediaNet）上预训练的模型作为迁移起点，随后通过渐进式机制在目标域上进行微调。

实验结果

研究问题

• RQ1 从大规模跨媒体数据集迁移知识，是否能显著提升在标注数据有限的小规模目标数据集上的检索性能？
• RQ2 如何联合迁移同媒体语义知识与跨媒体关联知识，以增强模型泛化能力？
• RQ3 基于迁移难度的渐进式样本选择是否能提升模型鲁棒性并降低跨媒体检索中的域差异？
• RQ4 DCKT 的性能对源域与目标域之间标签空间重叠程度的敏感度如何？

主要发现

• 在 Wikipedia 数据集上，DCKT 的平均平均精度（MAP）达到 0.511，相比无迁移的基线模型相对提升 10.5%。
• 在 NUS-WIDE-10k 数据集上，DCKT 的 MAP 达到 0.570，较基线提升 7.5%，即使标签重叠较少也表现出强劲性能。
• 在 Pascal Sentences 数据集上，DCKT 的 MAP 达到 0.585，较基线提升 10.6%，表明在高域偏移情况下仍具有效迁移能力。
• 消融实验表明，同时结合媒体级与关联级迁移可获得最佳性能，优于单独使用任一策略。
• 渐进式迁移机制显著优于随机采样与全批量采样策略，DCKT_{Full} 与 DCKT_{Random} 的 MAP 分数均低于 DCKT_{Full}（注：此处原文可能存在笔误，应为 DCKT_{Progressive} 优于 DCKT_{Full} 与 DCKT_{Random}，但按原文直译保留）。
• 当去除重叠类别后，$DCKT_{No extbackslash{} overlap}$ 变体性能下降极小，表明该方法在标签空间不匹配情况下仍具鲁棒性。