[论文解读] Fast Feature Extraction with CNNs with Pooling Layers

Christian Bailer, Tewodros Habtegebrial+2 more|arXiv (Cornell University)|May 8, 2018

Advanced Image and Video Retrieval Techniques参考文献 8被引用 9

一句话总结

本文提出一种通用方法，通过消除重叠图像块之间冗余计算，加速具有池化或步幅层的CNN的密集特征提取。通过应用转置和重塑操作，将网络重新配置为全图推理模式，该方法相较于逐块推理实现了最高达3216倍的速度提升，使SOTA级CNN特征的计算时间缩短至每张图像0.12秒以内。

ABSTRACT

In recent years, many publications showed that convolutional neural network based features can have a superior performance to engineered features. However, not much effort was taken so far to extract local features efficiently for a whole image. In this paper, we present an approach to compute patch-based local feature descriptors efficiently in presence of pooling and striding layers for whole images at once. Our approach is generic and can be applied to nearly all existing network architectures. This includes networks for all local feature extraction tasks like camera calibration, Patchmatching, optical flow estimation and stereo matching. In addition, our approach can be applied to other patch-based approaches like sliding window object detection and recognition. We complete our paper with a speed benchmark of popular CNN based feature extraction approaches applied on a whole image, with and without our speedup, and example code (for Torch) that shows how an arbitrary CNN architecture can be easily converted by our approach.

研究动机与目标

• 解决在图像任务中应用CNN处理重叠块时因冗余计算导致的效率低下问题。
• 在不牺牲池化或步幅层性能的前提下，实现在整张图像上的快速密集特征提取。
• 提供一种可推广的解决方案，适用于光学流、立体匹配和目标检测等任务中现有的CNN架构。
• 消除对逐块推理或为避免使用池化层而施加的架构限制的需求。

提出的方法

• 通过转置和重塑操作，将带有池化/步幅层的预训练CNN重新配置为单张图像推理网络。
• 引入多尺度池化层，在多个偏移位置应用最大池化，以在下采样后保持分辨率。
• 利用填充和维度操作对齐不同空间位置的特征图，实现计算共享。
• 通过将原始网络层与专用的解扰和重塑层交错排列，构建图像级网络（C_I）。
• 采用多池化策略，生成所有偏移版本的池化操作，避免分辨率损失。
• 利用框架原生操作（如Torch中的操作）高效且可复现地实现该转换。

实验结果

研究问题

• RQ1 当存在池化或步幅层时，是否可以消除基于块的CNN推理中的冗余计算？
• RQ2 是否可以无需架构重设计，将现有CNN架构适配为在整张图像上实现快速密集特征提取？
• RQ3 与逐块推理相比，将CNN重新配置为一次性处理整张图像，可实现多大的速度提升？
• RQ4 所提出的方法是否能在显著减少光学流和立体匹配等任务推理时间的同时保持特征质量？

主要发现

• 该方法在大图像上相较于逐块推理实现了最高3216倍的速度提升，864×576图像的推理时间缩短至0.113秒。
• 该方法使SOTA级CNN在每张图像上实现密集特征提取的时间控制在0.12秒以内，即使包含多个池化层亦成立。
• 内存使用保持在可管理范围，最快方法的峰值内存消耗为9850 MB，低于基线逐块推理的11495 MB。
• 该方法与几乎所有现有CNN架构兼容，可应用于光学流、立体匹配和滑动窗口检测等任务。
• 基准测试结果显示，图像级网络（C_I）在所测试图像上的平均速度比逐块推理（C_P）快1760倍。
• 该方法避免了放弃使用池化层或重复计算的需要，为密集特征提取提供了一种实用且高效的替代方案。