[论文解读] Effective Image Retrieval via Multilinear Multi-index Fusion

Zhizhong Zhang, Yuan Xie+2 more|arXiv (Cornell University)|Sep 27, 2017

Advanced Image and Video Retrieval Techniques参考文献 35被引用 3

一句话总结

本文提出了一种多线性多索引融合（MMF）方法，用于图像检索，通过基于t-SVD的张量核范数在统一张量空间中优化特定于索引的功能矩阵，以捕捉多种视觉表示之间的高阶互补信息。该方法通过利用稀疏约束和通过增广拉格朗日法实现的高效优化，在在线内存开销极小的情况下实现了最先进性能。

ABSTRACT

Multi-index fusion has demonstrated impressive performances in retrieval task by integrating different visual representations in a unified framework. However, previous works mainly consider propagating similarities via neighbor structure, ignoring the high order information among different visual representations. In this paper, we propose a new multi-index fusion scheme for image retrieval. By formulating this procedure as a multilinear based optimization problem, the complementary information hidden in different indexes can be explored more thoroughly. Specially, we first build our multiple indexes from various visual representations. Then a so-called index-specific functional matrix, which aims to propagate similarities, is introduced for updating the original index. The functional matrices are then optimized in a unified tensor space to achieve a refinement, such that the relevant images can be pushed more closer. The optimization problem can be efficiently solved by the augmented Lagrangian method with theoretical convergence guarantee. Unlike the traditional multi-index fusion scheme, our approach embeds the multi-index subspace structure into the new indexes with sparse constraint, thus it has little additional memory consumption in online query stage. Experimental evaluation on three benchmark datasets reveals that the proposed approach achieves the state-of-the-art performance, i.e., N-score 3.94 on UKBench, mAP 94.1\% on Holiday and 62.39\% on Market-1501.

研究动机与目标

• 解决现有多索引融合方法忽略不同视觉表示之间高阶关系的局限性。
• 通过在统一张量空间中建模特定于索引和特定于样本的依赖关系，探索多个索引之间的互补信息。
• 开发一种高效的优化框架，通过保持稀疏索引结构以在在线查询期间实现低内存消耗。
• 通过利用通过张量核范数优化的学习功能矩阵传播相似性，提升检索精度。
• 通过基于分组的数据分区实现的高效可并行计算，确保理论收敛性和可扩展性。

提出的方法

• 将多索引融合公式化为基于张量表示的多线性优化问题，以建模图像与视觉特征之间的相互作用。
• 引入特定于索引的功能矩阵，以在索引之间传播相似性，替代传统的基于邻居的相似性传播方法。
• 采用张量奇异值分解（t-SVD）和张量核范数，以捕捉统一张量空间中的高阶低秩结构。
• 应用具有收敛性保证的增广拉格朗日法，以高效求解优化问题。
• 对功能矩阵施加稀疏约束，以保持倒排索引结构的固有稀疏性，降低在线内存使用。
• 在功能矩阵中使用块矩阵结构，以支持数据集分区和并行化，提升可扩展性。

实验结果

研究问题

• RQ1 是否能够有效建模视觉特征与图像之间的高阶多维关系，以提升图像检索性能？
• RQ2 如何在统一张量空间中优化特定于索引的功能矩阵，以增强相似性传播？
• RQ3 与传统基于邻居的融合方法相比，引入基于张量的低秩结构在多大程度上提升了检索精度？
• RQ4 所提出的方法是否能在在线检索中以极低的额外内存成本维持高性能？
• RQ5 当集成弱或低质量索引（如GIST特征）时，该方法的鲁棒性如何？

主要发现

• 所提出的MMF方法在UKBench数据集上实现了3.94的最先进N得分。
• 在Holidays数据集上，该方法达到了94.1%的平均平均精度（mAP），优于现有方法。
• 在Market-1501数据集上，该方法实现了62.39%的Rank-1准确率，展示了在行人重识别任务中的强大性能。
• 移除功能矩阵的稀疏约束后，Rank-1错误率下降了近5个百分点，证实了其在性能和可扩展性方面的重要性。
• 在Market-1501上，学习到的功能矩阵约97%稀疏，表明其具有强子空间结构和高效的内存使用。
• 收敛曲线显示，方法在30–50次迭代内实现稳定且快速的收敛，每次迭代在数百毫秒内达到最优性能。