[论文解读] A Comprehensive Survey on Cross-modal Retrieval

Kaiye Wang, Qiyue Yin+3 more|arXiv (Cornell University)|Jul 21, 2016

Advanced Image and Video Retrieval Techniques参考文献 4被引用 224

一句话总结

本综述将跨模态检索方法分为实值表示和二值表示，回顾无监督/成对/基于排序/有监督方法，总结数据集和实验发现，并概述未解决的问题和未来发展方向。

ABSTRACT

In recent years, cross-modal retrieval has drawn much attention due to the rapid growth of multimodal data. It takes one type of data as the query to retrieve relevant data of another type. For example, a user can use a text to retrieve relevant pictures or videos. Since the query and its retrieved results can be of different modalities, how to measure the content similarity between different modalities of data remains a challenge. Various methods have been proposed to deal with such a problem. In this paper, we first review a number of representative methods for cross-modal retrieval and classify them into two main groups: 1) real-valued representation learning, and 2) binary representation learning. Real-valued representation learning methods aim to learn real-valued common representations for different modalities of data. To speed up the cross-modal retrieval, a number of binary representation learning methods are proposed to map different modalities of data into a common Hamming space. Then, we introduce several multimodal datasets in the community, and show the experimental results on two commonly used multimodal datasets. The comparison reveals the characteristic of different kinds of cross-modal retrieval methods, which is expected to benefit both practical applications and future research. Finally, we discuss open problems and future research directions.

研究动机与目标

• 提供对跨模态检索研究及其动机的结构化概览。
• 将现有方法分为实值表示学习和二值跨模态哈希。
• 总结数据集、实验结果和实际意义，以指导未来工作。
• 讨论跨模态检索中的未解挑战和未来的研究方向。

提出的方法

• 将跨模态检索方法分为四类：无监督、成对基于、基于排序、以及有监督。
• 区分实值表示学习和二值（哈希）方法。
• 在每个主类别下调查子类别（例如子空间学习、主题模型、深度学习和度量学习）。
• 介绍代表性算法及其核心思想，重点在于它们如何在跨模态中学习共同表示。

实验结果

研究问题

• RQ1 跨模态检索方法的主要类别和子类别是什么？
• RQ2 无监督、成对基于、基于排序和有监督方法在学习跨模态表示方面有何不同？
• RQ3 常用来评估跨模态检索的数据集有哪些，以及这些数据集上的实验结果显示了什么？
• RQ4 在跨模态检索研究中还存在哪些未解决的问题和未来方向？

主要发现

• 本文提供了一个区分实值表示学习和二值跨模态哈希的分类法。
• 它在子空间学习、主题模型和深度学习领域分析无监督、成对基于、基于排序和有监督方法。
• 它总结了代表性算法并讨论了它们的优点、局限性和适用性。
• 它介绍了多模态数据集，并在两个常用数据集上报告了实验结果以说明方法特征。
• 它讨论跨模态检索中的未解决问题以及未来研究的机会。