[论文解读] Cross-Modal Similarity Learning : A Low Rank Bilinear Formulation

Cuicui Kang, Shengcai Liao+5 more|arXiv (Cornell University)|Nov 18, 2014

Advanced Image and Video Retrieval Techniques参考文献 33被引用 5

一句话总结

该论文提出了一种用于跨模态检索的低秩双线性相似性学习方法，通过核范数正则化的双线性形式建模跨模态相似性，以捕捉结构化关系。采用加速近端梯度优化方法，该方法实现了快速收敛，并在三个基准数据库上优于当前最先进方法，尤其在Wikipedia数据集上精度提升超过6%。

ABSTRACT

The cross-media retrieval problem has received much attention in recent years due to the rapid increasing of multimedia data on the Internet. A new approach to the problem has been raised which intends to match features of different modalities directly. In this research, there are two critical issues: how to get rid of the heterogeneity between different modalities and how to match the cross-modal features of different dimensions. Recently metric learning methods show a good capability in learning a distance metric to explore the relationship between data points. However, the traditional metric learning algorithms only focus on single-modal features, which suffer difficulties in addressing the cross-modal features of different dimensions. In this paper, we propose a cross-modal similarity learning algorithm for the cross-modal feature matching. The proposed method takes a bilinear formulation, and with the nuclear-norm penalization, it achieves low-rank representation. Accordingly, the accelerated proximal gradient algorithm is successfully imported to find the optimal solution with a fast convergence rate O(1/t^2). Experiments on three well known image-text cross-media retrieval databases show that the proposed method achieves the best performance compared to the state-of-the-art algorithms.

研究动机与目标

• 解决跨模态特征维度不同以及模态间高度异质性带来的匹配挑战。
• 克服传统度量学习方法仅针对单模态数据设计、在跨模态特征匹配中表现不佳的局限性。
• 学习一种鲁棒的相似性函数，以捕捉图像与文本特征之间的潜在结构关系。
• 通过集成低秩表示与核范数正则化，减少噪声与冗余，从而提升跨模态检索性能。
• 开发一种高效的优化框架，实现快速收敛，以支持大规模多媒体检索任务的可扩展性。

提出的方法

• 将跨模态相似性学习建模为图像与文本特征的双线性函数，即使在特征维度不同的情况下也能实现直接匹配。
• 对相似性矩阵施加核范数正则化，以强制实现低秩结构，并通过捕捉主导相关模式来提升模型鲁棒性。
• 采用加速近端梯度算法求解优化问题，收敛速率达到$O(1/t^2)$，确保训练过程快速且稳定。
• 将监督约束（相似/不相似样本对）整合到学习目标中，以缩小模态间的语义鸿沟。
• 采用基于逻辑损失的公式化方法建模相似性分数，支持相似性函数的端到端优化。
• 在三个标准跨媒体检索数据库（Pascal VOC2007、NUS-WIDE 和 Wikipedia）上应用该方法，均取得一致的性能提升。

实验结果

研究问题

• RQ1 双线性相似性函数能否有效建模高维、异质性特征（如图像与文本）之间的跨模态关系？
• RQ2 核范数正则化是否通过捕捉数据中的低秩结构，提升跨模态相似性学习的鲁棒性与泛化能力？
• RQ3 加速近端梯度优化是否能在保持高精度的同时，实现比传统方法更快的收敛速度？
• RQ4 在多样化的跨模态检索基准上，该方法在精度、召回率和F1分数方面与当前最先进方法相比表现如何？
• RQ5 引入低秩表示在多大程度上能够缩小低级特征与高级语义概念之间的语义鸿沟？

主要发现

• 所提方法在所有三个基准数据库（Pascal VOC2007、NUS-WIDE 和 Wikipedia）上均取得最优性能。
• 在Wikipedia数据集上，该方法在精度上较第二好的算法提升超过6%，显著增强了检索准确性。
• 学习得到的相似性矩阵M表现出明显的低秩结构，经奇异值分析验证，表明其有效捕捉了主导的跨模态相关性。
• 核范数正则化成功减少了噪声与冗余，增强了模型在不同数据集上的鲁棒性与泛化能力。
• 加速近端梯度算法收敛迅速，达到$O(1/t^2)$的收敛速率，使大规模多媒体数据的高效训练成为可能。
• 引入类别级约束的监督学习显著优于无监督方法，证实了语义监督在缩小语义鸿沟方面的价值。