[论文解读] Unsupervised Generative Adversarial Cross-modal Hashing

Jian Zhang, Yuxin Peng+1 more|arXiv (Cornell University)|Dec 1, 2017

Advanced Image and Video Retrieval Techniques参考文献 20被引用 14

一句话总结

该论文提出了一种无监督生成对抗交叉模态哈希方法（UGACH），这是一种基于生成对抗网络（GAN）的新方法，通过对抗训练和相关性图来建模无标注数据的跨模态数据流形结构。UGACH在NUS-WIDE和MIRFlickr数据集上均实现了最先进（SOTA）的检索准确率，其平均平均精度（MAP）得分分别为0.624和0.625。

ABSTRACT

Cross-modal hashing aims to map heterogeneous multimedia data into a common Hamming space, which can realize fast and flexible retrieval across different modalities. Unsupervised cross-modal hashing is more flexible and applicable than supervised methods, since no intensive labeling work is involved. However, existing unsupervised methods learn hashing functions by preserving inter and intra correlations, while ignoring the underlying manifold structure across different modalities, which is extremely helpful to capture meaningful nearest neighbors of different modalities for cross-modal retrieval. To address the above problem, in this paper we propose an Unsupervised Generative Adversarial Cross-modal Hashing approach (UGACH), which makes full use of GAN's ability for unsupervised representation learning to exploit the underlying manifold structure of cross-modal data. The main contributions can be summarized as follows: (1) We propose a generative adversarial network to model cross-modal hashing in an unsupervised fashion. In the proposed UGACH, given a data of one modality, the generative model tries to fit the distribution over the manifold structure, and select informative data of another modality to challenge the discriminative model. The discriminative model learns to distinguish the generated data and the true positive data sampled from correlation graph to achieve better retrieval accuracy. These two models are trained in an adversarial way to improve each other and promote hashing function learning. (2) We propose a correlation graph based approach to capture the underlying manifold structure across different modalities, so that data of different modalities but within the same manifold can have smaller Hamming distance and promote retrieval accuracy. Extensive experiments compared with 6 state-of-the-art methods verify the effectiveness of our proposed approach.

研究动机与目标

• 为解决现有无监督跨模态哈希方法忽略模态间潜在流形结构的局限性。
• 利用生成对抗网络（GAN）进行无监督表示学习，以更好地捕捉跨模态数据关系。
• 通过在公共汉明空间中建模模态间相关性与模内邻近性，提升检索准确率。
• 在无需昂贵人工标注语义标签的情况下，实现与监督方法相当的性能。

提出的方法

• 设计了一种生成对抗网络，其中生成器学习拟合某一模态的流形分布，并从另一模态生成有信息量的样本以挑战判别器。
• 判别器被训练以区分来自相关性图的真实数据与生成数据，从而提升其保持有意义模态间相关性与流形相关性的能力。
• 构建一个相关性图以编码不同模态间潜在的流形结构，确保语义相似的跨模态数据具有更小的汉明距离。
• 生成器与判别器通过对抗方式联合训练，以增强哈希函数学习与检索性能。
• 框架采用共享嵌入空间，将两种模态的特定特征映射到公共二值码空间，以实现高效的汉明距离计算。
• 模型采用学习率衰减策略进行端到端训练，并使用随机梯度下降进行优化。

实验结果

研究问题

• RQ1 在无监督设置下，对抗训练能否有效建模跨模态数据的流形结构？
• RQ2 通过相关性图引入流形结构在多大程度上提升了跨模态检索准确率？
• RQ3 基于GAN的无监督方法能否在无需标注数据的情况下，实现与监督方法相当或更优的性能？
• RQ4 所提出方法在基准数据集上相较于现有无监督跨模态哈希技术，性能提升程度如何？

主要发现

• 在NUS-WIDE数据集上，UGACH在图像到文本任务中实现了0.624的最高平均平均精度（MAP），在文本到图像任务中实现了0.625的MAP。
• 在MIRFlickr数据集上，UGACH实现了最先进性能，优于所有对比的无监督与监督方法，且在所有评估指标上均表现更优。
• 在NUS-WIDE数据集上，UGACH在图像到文本任务中相比最佳无监督方法CCQ，MAP提升0.119；在文本到图像任务中提升0.131。
• 与监督方法SCM_seq相比，UGACH在图像到文本任务中平均MAP提升0.107，在文本到图像任务中提升0.109。
• 消融实验表明，GAN组件与相关性图均具有显著贡献，分别在NUS-WIDE上较基线GAN提升0.037与0.034。
• Top-K精确率与精确率-召回率曲线表明，UGACH在两个数据集的所有K值与召回率水平下，始终优于所有基线方法。