[论文解读] Compositional Correlation Quantization for Large-Scale Multimodal Search.

Mingsheng Long, Jianmin Wang+1 more|arXiv (Cornell University)|Apr 19, 2015

Advanced Image and Video Retrieval Techniques参考文献 35被引用 4

一句话总结

本文提出组合相关性量化（CCQ），一种用于大规模多模态检索的新方法，通过联合学习最大化相关性的映射和组合量化器，从多种模态生成紧凑的二值编码。CCQ通过在最小化重建误差和量化误差的同时保留模态内与模态间相似性，在线性时间内使用配对与非配对数据进行训练，从而实现更优的检索准确率与效率。

ABSTRACT

Efficient similarity retrieval from large-scale multimodal database is pervasive in current search systems with the big data tidal wave. To support queries across content modalities, the system should enable cross-modal correlation and computation-efficient indexing. While hashing methods have shown great potential in approaching this goal, current attempts generally failed to learn isomorphic hash codes in a seamless scheme, that is, they embed multiple modalities into a continuous isomorphic space and then threshold embeddings into binary codes, which incurred substantial loss of search quality. In this paper, we establish seamless multimodal hashing by proposing a novel Compositional Correlation Quantization (CCQ) model. Specifically, CCQ jointly finds correlation-maximal mappings that transform different modalities into an isomorphic latent space, and learns compositional quantizers that quantize the isomorphic latent features into compact binary codes. An optimization framework is developed to preserve both intra-modal similarity and inter-modal correlation while minimizing both reconstruction and quantization errors, which can be trained from both paired and unpaired data in linear time. A comprehensive set of experiments clearly show the superior effectiveness and efficiency of CCQ against the state-of-the-art techniques on both unimodal and cross-modal search tasks.

研究动机与目标

• 解决在大数据范式下大规模多模态数据库中高效相似性检索的挑战。
• 克服现有哈希方法将嵌入与量化分为两个阶段所导致的质量下降问题。
• 实现在不同模态间无缝学习同构哈希编码，避免中间阈值化处理。
• 开发一种在配对与非配对训练数据下均能有效工作的模型。
• 在保持模态内与跨模态相关性的同时，实现线性时间训练。

提出的方法

• CCQ联合学习最大化相关性的映射，将不同模态映射到共享的同构潜在空间。
• 设计组合量化器，将同构潜在特征转换为紧凑的二值编码。
• 优化框架最小化重建误差与量化误差，同时保留模态内相似性与模态间相关性。
• 模型端到端使用配对与非配对数据进行训练，提升可扩展性与鲁棒性。
• 优化问题被设计为可在线性时间内求解，支持大规模部署。
• 该方法避免了先学习连续嵌入再通过阈值化转换为二值编码的次优两阶段过程。

实验结果

研究问题

• RQ1 是否存在一种统一框架，可在不因阈值化导致质量损失的情况下，联合学习同构表示与量化？
• RQ2 CCQ在量化过程中，能在多大程度上保持潜在空间中的模态内与模态间相关性？
• RQ3 CCQ在单模态与跨模态检索任务中，相较于现有哈希方法，性能提升程度如何？
• RQ4 CCQ是否能同时在配对与非配对训练数据上实现高性能？
• RQ5 在大规模场景下，CCQ相较于当前最先进方法的计算效率如何？

主要发现

• 与当前最先进方法相比，CCQ在单模态与跨模态检索任务中均实现了更优的检索性能。
• 即使在非配对数据上进行训练，该方法仍保持高检索准确率，展现出对数据配对约束的强鲁棒性。
• CCQ的线性时间优化支持大规模数据集的高效训练，有利于实际部署。
• 联合学习最大化相关性映射与组合量化器，可降低量化误差并保持语义相似性。
• 在全面实验中，CCQ在平均精度均值（mAP）方面显著优于现有哈希技术。
• CCQ在速度与准确率方面均优于现有方法，尤其在跨模态检索场景中表现突出。