[论文解读] Deep Spatial Pyramid: The Devil is Once Again in the Details

Bin-Bin Gao, Xiu-Shen Wei+2 more|arXiv (Cornell University)|Apr 21, 2015

Advanced Image and Video Retrieval Techniques参考文献 29被引用 41

一句话总结

本文提出 Deep Spatial Pyramid (DSP)，一种简单但高度准确的图像分类框架，通过优化设计选择利用深层 CNN 特征：$π_{2}$ 矩阵归一化、自然空间金字塔结构以及 Fisher 向量中的小 $K$ 值。DSP 在多个基准测试中达到最先进性能，包括 SUN397 上的 59.78% 和 Caltech-101 上的 95.11%，同时保持高效率和低内存占用。

ABSTRACT

In this paper we show that by carefully making good choices for various detailed but important factors in a visual recognition framework using deep learning features, one can achieve a simple, efficient, yet highly accurate image classification system. We first list 5 important factors, based on both existing researches and ideas proposed in this paper. These important detailed factors include: 1) $\ell_2$ matrix normalization is more effective than unnormalized or $\ell_2$ vector normalization, 2) the proposed natural deep spatial pyramid is very effective, and 3) a very small $K$ in Fisher Vectors surprisingly achieves higher accuracy than normally used large $K$ values. Along with other choices (convolutional activations and multiple scales), the proposed DSP framework is not only intuitive and efficient, but also achieves excellent classification accuracy on many benchmark datasets. For example, DSP's accuracy on SUN397 is 59.78%, significantly higher than previous state-of-the-art (53.86%).

研究动机与目标

• 识别并系统评估对深层特征性能有显著影响但常被忽视的关键实现细节。
• 解决在模型架构和预训练之外，深层特征表示最优选择缺乏全面研究的问题。
• 开发一种实用、高效且准确的框架——Deep Spatial Pyramid (DSP)，整合这些因素的最佳选择。
• 证明通过精细设计低层次实现决策，可在不使用复杂模型架构的前提下实现显著的性能提升。

提出的方法

• 使用预训练的 CNN（如 VGG-Net）从最后一层卷积特征图中提取深层激活，实现对任意输入尺寸的全卷积处理。
• 对深层特征图应用 $π_{2}$ 矩阵归一化，其性能优于向量归一化和未归一化特征。
• 通过将特征图在 $N$ 个层级上划分为 $m$ 个块，构建自然空间金字塔，保留空间结构且无需池化操作。
• 使用少量高斯分量（$K$）的改进 Fisher 向量（FV）表示每个空间块，降低计算成本。
• 将所有块级别的 FV 向量拼接为一个 $2mdK$-维的最终图像表示向量。
• 采用多尺度输入处理（Ms-DSP），通过聚合不同感受野的特征进一步提升性能。

实验结果

研究问题

• RQ1 在图像分类任务中，$π_{2}$ 向量归一化、$π_{2}$ 矩阵归一化或未归一化这三种策略中，哪一种对深层 CNN 特征性能最优？
• RQ2 空间金字塔的设计如何影响特征表示？在深度学习中实现它的最优方式是什么？
• RQ3 Fisher 向量编码中 $K$ 的最优值是多少？小 $K$ 是否优于较大的 $K$ 值？
• RQ4 多尺度输入和全卷积处理对识别准确率和效率有何影响？
• RQ5 一个结合这些选择的简单、高效框架是否能在标准基准上超越最先进方法？

主要发现

• DSP 在 SUN397 上达到 59.78% 的 top-1 准确率，显著优于先前最先进方法的 53.86%。
• 在 Caltech-101 上，DSP 达到 95.11% 的准确率，超过先前最先进水平的 93.42%。
• 使用 $π_{2}$ 矩阵归一化相比 $π_{2}$ 向量归一化或无归一化策略表现更优。
• 在 Fisher 向量编码中，极小的 $K$（如 $K=16$）比更大的 $K$ 值获得更高准确率，与常见做法相反。
• 多尺度 DSP（Ms-DSP）在所有数据集上均达到最高性能，Caltech-101 的平均召回率为 96.88%，Caltech-256 为 90.89%。
• DSP 每张图像处理时间约为 150ms，仅使用约 12k 维的特征向量，具有内存高效性，适用于大规模应用场景。