[论文解读] Iterative Manifold Embedding Layer Learned by Incomplete Data for Large-scale Image Retrieval

Jian Xu, Chunheng Wang+3 more|arXiv (Cornell University)|Jul 14, 2017

Advanced Image and Video Retrieval Techniques参考文献 39被引用 4

一句话总结

本文提出迭代流形嵌入（IME）层，一种可学习的线性变换，通过在不完整数据上进行无监督、离线训练，将图像特征映射到低维流形空间。通过迭代地利用二阶邻近性和欧氏距离校正来优化测地线距离，IME层实现了近乎即时的高精度图像检索——相比传统流形方法实现超过120倍的速度提升，并且在五个标准数据集上无需后处理即可超越最先进方法。

ABSTRACT

Existing manifold learning methods are not appropriate for image retrieval task, because most of them are unable to process query image and they have much additional computational cost especially for large scale database. Therefore, we propose the iterative manifold embedding (IME) layer, of which the weights are learned off-line by unsupervised strategy, to explore the intrinsic manifolds by incomplete data. On the large scale database that contains 27000 images, IME layer is more than 120 times faster than other manifold learning methods to embed the original representations at query time. We embed the original descriptors of database images which lie on manifold in a high dimensional space into manifold-based representations iteratively to generate the IME representations in off-line learning stage. According to the original descriptors and the IME representations of database images, we estimate the weights of IME layer by ridge regression. In on-line retrieval stage, we employ the IME layer to map the original representation of query image with ignorable time cost (2 milliseconds). We experiment on five public standard datasets for image retrieval. The proposed IME layer significantly outperforms related dimension reduction methods and manifold learning methods. Without post-processing, Our IME layer achieves a boost in performance of state-of-the-art image retrieval methods with post-processing on most datasets, and needs less computational cost.

研究动机与目标

• 为解决现有流形学习方法在大规模图像检索中的低效性与不适用性，特别是其高查询时间成本以及无法处理新查询图像的问题。
• 通过利用二阶邻近性与测地线距离校正，克服由稀疏、不完整数据导致的k-NN图不稳定问题。
• 设计一种轻量级、线性变换层（IME层），实现快速、低成本推理，以支持实时图像检索。
• 在无需查询时间额外计算的前提下，实现与采用后处理（如重排序）的最先进方法相当或更优的性能。

提出的方法

• IME层通过岭回归在离线阶段进行训练，基于不完整训练数据将原始图像描述符映射到低维流形表示。
• 通过利用二阶邻近性，迭代提升k-NN图的稳定性——具有相似邻居的点被认为更相似。
• 利用欧氏距离对测地线距离进行校正，以减少稀疏流形中因数据空洞导致的估计误差。
• 最终的IME层是迭代嵌入过程的简化线性近似，使推理时间的计算成本接近零。
• 该层与基于CNN的特征（如R-MAC）兼容，可直接作为全连接层插入深度神经网络中。
• 模型在不完整数据（如Oxford5k、Paris6k）上进行训练，并加入干扰项，避免构建完整的流形结构。

实验结果

研究问题

• RQ1 能否从不完整数据高效训练基于流形的嵌入层，以提升图像检索性能？
• RQ2 在图像检索的流形学习中，如何缓解因稀疏采样导致的测地线距离估计误差？
• RQ3 一个线性可学习层能否在显著降低推理成本的前提下，实现与复杂非线性流形方法相当或更优的性能？
• RQ4 所提出的方法是否能在无需后处理（如查询扩展或重排序）的情况下，超越依赖此类技术的最先进检索方法？

主要发现

• 在27,000张图像的数据集上，IME层相比传统流形学习方法（如IsoMap和LLE）在查询时间嵌入阶段实现了超过120倍的速度提升。
• 在五个公开数据集上，IME层在所有评估维度下均优于所有相关降维与流形学习方法，包括IsoMap和LLE。
• 在INSTRE数据集上，IME层的性能超过最佳竞争方法（IsoMap）超过13个mAP点，展现出显著的性能提升。
• 在无需任何后处理（如查询扩展或重排序）的情况下，IME层在大多数数据集上超越了使用这些技术的最先进方法。
• IME层每查询增加的计算时间不足2毫秒，而类似扩散的方法每查询需约14秒，凸显其高效性。
• 即使在不完整数据（如5,000张图像加100,000个干扰项）上进行训练，该方法仍保持高性能，证明了其对数据稀疏性的鲁棒性。