[论文解读] Minimizing FLOPs to Learn Efficient Sparse Representations

Biswajit Paria, Chih‐Kuan Yeh+4 more|arXiv (Cornell University)|Apr 12, 2020

Advanced Image and Video Retrieval Techniques参考文献 81被引用 7

一句话总结

该论文提出了一种方法，通过在训练过程中直接通过连续松弛对FLOPs进行正则化，学习高维稀疏嵌入，从而在检索过程中最小化浮点运算次数（FLOPs）。该方法通过在各维度间鼓励非零元素的均匀分布，在保持竞争力准确率的同时，使推理速度比密集嵌入快达50倍，优于基线方法在速度-准确率权衡上的表现。

ABSTRACT

Deep representation learning has become one of the most widely adopted approaches for visual search, recommendation, and identification. Retrieval of such representations from a large database is however computationally challenging. Approximate methods based on learning compact representations, have been widely explored for this problem, such as locality sensitive hashing, product quantization, and PCA. In this work, in contrast to learning compact representations, we propose to learn high dimensional and sparse representations that have similar representational capacity as dense embeddings while being more efficient due to sparse matrix multiplication operations which can be much faster than dense multiplication. Following the key insight that the number of operations decreases quadratically with the sparsity of embeddings provided the non-zero entries are distributed uniformly across dimensions, we propose a novel approach to learn such distributed sparse embeddings via the use of a carefully constructed regularization function that directly minimizes a continuous relaxation of the number of floating-point operations (FLOPs) incurred during retrieval. Our experiments show that our approach is competitive to the other baselines and yields a similar or better speed-vs-accuracy tradeoff on practical datasets.

研究动机与目标

• 解决大规模最近邻搜索中高维密集嵌入的计算低效问题。
• 通过利用稀疏性和高效的稀疏矩阵乘法，提升检索速度而不损失表征能力。
• 通过可微正则化函数直接最小化训练过程中的FLOPs，促进各维度间非零元素的均匀分布。
• 在速度-准确率权衡上优于LSH、PCA、PQ和SDH等现有方法。
• 证明稀疏性本身不足以实现最大加速效果——非零元素在维度间的均匀分布至关重要。

提出的方法

• 为检索期间的稀疏矩阵乘法提出精确FLOP计数的连续松弛，实现基于梯度的优化。
• 引入一种新型正则化项 $\widetilde{\mathcal{F}}$，用于惩罚嵌入维度间非零分布的不均衡。
• 将FLOP正则化项与标准度量学习损失（如对比损失或三元组损失）结合，以保持语义相似性。
• 使用梯度下降联合优化度量学习与FLOP最小化，偏好具有均匀稀疏模式的嵌入。
• 在均匀性假设下，基于稀疏度和非零分布，推导出期望FLOPs的解析表达式。
• 在MegaFace和CIFAR-100数据集上，使用ResNet和MobileNet主干网络评估该方法，并与LSH、PCA、PQ和SDH进行比较。

实验结果

研究问题

• RQ1 我们能否在嵌入学习过程中直接最小化FLOPs，以提升检索效率？
• RQ2 稀疏嵌入中非零元素的分布是否在稀疏度之外显著影响检索速度？
• RQ3 FLOPs的连续松弛能否作为端到端训练中的有效正则化项？
• RQ4 与标准基线方法（如LSH、PCA、PQ、SDH）相比，该方法在速度-准确率权衡上表现如何？
• RQ5 非零元素在维度间均匀分布能在多大程度上提升检索性能？

主要发现

• 所提出的 $\widetilde{\mathcal{F}}$ 正则化项相较于 $\ell_1$ 正则化，实现了更接近1的次优性比率 $R_{\text{sub}}$，表明非零元素分布更均匀。
• 在ResNet上，$\ell_1$ 正则化导致非零分布严重不均衡，而 $\widetilde{\mathcal{F}}$ 保持了各维度间平衡的稀疏性。
• 该方法在仅造成极小准确率损失的前提下，使检索速度比密集嵌入快达50倍，在速度-准确率权衡上优于LSH、PCA、PQ和SDH。
• 加速效果随稀疏度提升而增强，且在非零元素均匀分布时达到最大值，证实了FLOPs的二次方减少。
• 权衡曲线显示，$\widetilde{\mathcal{F}}$ 正则化模型在较低查询时间下实现了更高的召回率，尤其在高稀疏度下表现更优。
• 即使不使用重排序，该方法仍保持优异性能，证实FLOP正则化显著提升了内在检索效率。