[论文解读] Image Hashing by Minimizing Discrete Component-wise Wasserstein Distance

Khoa D. Doan, Saurav Manchanda+2 more|arXiv (Cornell University)|Feb 29, 2020

Advanced Image and Video Retrieval Techniques参考文献 33被引用 4

一句话总结

本文提出了一种新型对抗自编码器——离散分量Wasserstein自编码器（DCW-AE），用于图像哈希，其通过最小化一种更具泛化能力的分量Wasserstein距离变体，显著提升了样本效率与计算效率，从而在检索性能上达到当前最先进水平，相较于现有方法最高提升达10%。

ABSTRACT

Image hashing is one of the fundamental problems that demand both efficient and effective solutions for various practical scenarios. Adversarial autoencoders are shown to be able to implicitly learn a robust, locality-preserving hash function that generates balanced and high-quality hash codes. However, the existing adversarial hashing methods are inefficient to be employed for large-scale image retrieval applications. Specifically, they require an exponential number of samples to be able to generate optimal hash codes and a significantly high computational cost to train. In this paper, we show that the high sample-complexity requirement often results in sub-optimal retrieval performance of the adversarial hashing methods. To address this challenge, we propose a new adversarial-autoencoder hashing approach that has a much lower sample requirement and computational cost. Specifically, by exploiting the desired properties of the hash function in the low-dimensional, discrete space, our method efficiently estimates a better variant of Wasserstein distance by averaging a set of easy-to-compute one-dimensional Wasserstein distances. The resulting hashing approach has an order-of-magnitude better sample complexity, thus better generalization property, compared to the other adversarial hashing methods. In addition, the computational cost is significantly reduced using our approach. We conduct experiments on several real-world datasets and show that the proposed method outperforms the competing hashing methods, achieving up to 10% improvement over the current state-of-the-art image hashing methods. The code accompanying this paper is available on Github (https://github.com/khoadoan/adversarial-hashing).

研究动机与目标

• 解决现有基于对抗自编码器的哈希方法泛化能力差且计算成本高的问题。
• 降低基于Wasserstein距离的对抗训练在图像哈希中的样本复杂度。
• 通过学习更稳定高效的散度最小化框架，提升检索性能。
• 通过隐式分布匹配消除哈希码优化中的启发式约束。
• 为大规模应用开发一种可扩展、高效且高性能的无监督图像哈希模型。

提出的方法

• 提出一种新颖的散度估计技术，将Wasserstein距离计算为源分布与目标分布最不相似方向上的一维Wasserstein距离的平均值。
• 利用二进制哈希码的离散特性，构建一种比标准Wasserstein距离更具泛化能力且更易优化的分量Wasserstein距离。
• 采用对抗训练将学习到的哈希码分布匹配到目标离散先验分布，隐式学习一种保持局部性的哈希函数，无需显式约束。
• 通过随机投影高效计算所提出的距离估计，从而在训练过程中实现更快收敛与更稳定的梯度。
• 该框架以变分自编码器的形式实现，配备GAN风格判别器，通过小批量随机梯度下降进行训练。
• 通过依赖离散Wasserstein距离的内在特性，避免了显式正则化项的超参数调优需求。

实验结果

研究问题

• RQ1 更具泛化能力的Wasserstein距离变体能否提升基于对抗自编码器的图像哈希在样本效率与泛化能力方面的表现？
• RQ2 对一维Wasserstein距离进行分量平均是否能提升哈希对抗训练中的收敛性与稳定性？
• RQ3 与现有基于Wasserstein的对抗哈希模型相比，所提方法能否在显著减少训练时间的前提下实现更优的检索性能？
• RQ4 在梯度稳定性与优化动力学方面，所提距离估计与标准Wasserstein距离及切片Wasserstein距离相比表现如何？
• RQ5 哈希码的离散结构在多大程度上能够实现潜在空间中更高效、更有效的散度估计？

主要发现

• 在多个真实世界数据集上，DCW-AE的检索性能相比当前最先进图像哈希方法最高提升达10%。
• 与现有对抗哈希方法相比，所提方法的样本复杂度降低了一个数量级，可在更少训练样本下实现更好的泛化能力。
• 每轮训练时间显著减少——在CIFAR10、FlickR25K和PLACE365数据集上，DCW-AE的训练速度远超OT-AE与WGAN-AE。
• 与SWD相比，DCW-AE在训练过程中距离估计与梯度范数更加稳定，尤其在随机投影数量较少时表现更优。
• t-SNE可视化显示，DCW-AE学习到的嵌入空间更具结构化与可分性，能有效区分相似数字如4与9。
• 该方法在检索准确率与鲁棒性方面，显著优于非对抗基线模型（ITQ、DistillHash）及其他对抗模型（OT-AE、SWD-AE）。