[论文解读] Learning Global and Local Consistent Representations for Unsupervised Image Retrieval via Deep Graph Diffusion Networks

Zhiyong Dou, Haotian Cui+2 more|arXiv (Cornell University)|Jan 5, 2020

Advanced Graph Neural Networks参考文献 46被引用 6

一句话总结

该论文提出GRAD-Net，一种深度图扩散网络，通过利用图神经网络（GNNs）和无监督损失函数，学习用于无监督图像检索的全局与局部一致表征。该方法支持在未见查询上的可扩展、归纳式推理，在大规模基准测试中表现优于当前最先进扩散方法，在Oxford5k数据集上结合查询扩展后达到96.05 mAP。

ABSTRACT

Diffusion has shown great success in improving accuracy of unsupervised image retrieval systems by utilizing high-order structures of image manifold. However, existing diffusion methods suffer from three major limitations: 1) they usually rely on local structures without considering global manifold information; 2) they focus on improving pair-wise similarities within existing images input output transductively while lacking flexibility to learn representations for novel unseen instances inductively; 3) they fail to scale to large datasets due to prohibitive memory consumption and computational burden due to intrinsic high-order operations on the whole graph. In this paper, to address these limitations, we propose a novel method, Graph Diffusion Networks (GRAD-Net), that adopts graph neural networks (GNNs), a novel variant of deep learning algorithms on irregular graphs. GRAD-Net learns semantic representations by exploiting both local and global structures of image manifold in an unsupervised fashion. By utilizing sparse coding techniques, GRAD-Net not only preserves global information on the image manifold, but also enables scalable training and efficient querying. Experiments on several large benchmark datasets demonstrate effectiveness of our method over state-of-the-art diffusion algorithms for unsupervised image retrieval.

研究动机与目标

• 解决现有基于扩散的无监督图像检索方法的局限性，这些方法依赖局部结构，缺乏归纳泛化能力，且可扩展性差。
• 以无监督、端到端的方式学习图像流形的联合全局与局部几何结构。
• 在不重新计算完整图上扩散过程的前提下，实现对未见查询的高效、归纳式推理。
• 通过稀疏编码和小批量GNN训练，降低大规模数据集的内存与计算成本。

提出的方法

• GRAD-Net利用图神经网络（GNNs）通过建模局部邻域与全局流形结构来学习图像表征。
• 采用两种无监督损失函数，直接编码扩散过程，实现无需标注数据的端到端训练。
• 集成稀疏编码技术，在保留全局流形信息的同时，实现高效、可扩展的训练与推理。
• 通过查询特征扩展（QFE）支持归纳学习，将未见查询特征投影到学习到的潜在空间中。
• 通过faiss实现截断图构建，加速k-NN图生成，降低内存与计算开销。
• 在稀疏图上进行小批量训练，确保时间复杂度为线性O(N)，使GRAD-Net可扩展至大规模数据集。

实验结果

研究问题

• RQ1 深度图扩散网络能否在无监督条件下有效捕捉图像流形的局部与全局几何结构？
• RQ2 GRAD-Net能否以归纳方式泛化到未见查询，避免转换式重新计算？
• RQ3 稀疏编码与GNN的结合是否能实现在大规模图像检索数据集上的可扩展训练与推理？
• RQ4 GRAD-Net在性能与效率上相较于现有基于扩散与神经网络的无监督检索方法表现如何？

主要发现

• 在Oxford5k数据集上结合查询扩展后，GRAD-Net达到96.05 mAP，显著优于之前最先进方法（Efficient Diffusion为89.6 mAP）。
• 该模型表现出线性时间复杂度O(N)和可扩展的内存使用，可在无需截断的情况下训练高达10,000个实例的数据集。
• 在截断情况下，GRAD-Net显著降低内存消耗，即使在21,000个实例时也能避免内存溢出错误，而GSS在此规模下已失败。
• QFE方法实现了有效的归纳推理，对未见查询应用两次后，mAP从96.01提升至96.05。
• GRAD-Net的训练时间随数据集规模线性增长，其前向传播速度优于类似GNN方法（如GSS）。