[论文解读] A Fast HOG Descriptor Using Lookup Table and Integral Image

Chunde Huang, Jiaxiang Huang|arXiv (Cornell University)|Mar 18, 2017

Advanced Image and Video Retrieval Techniques参考文献 8被引用 11

一句话总结

本文提出一种基于预计算查找表的快速HOG描述符，用于方向梯度计算，并使用积分图像实现高效的直方图聚合。通过用查找表替代昂贵的三角函数运算，并利用积分图像实现O(1)直方图查询，该方法在现代CPU上对800×600图像的处理时间可缩短至15毫秒以下，相比标准HOG实现提速5倍至10倍。

ABSTRACT

The histogram of oriented gradients (HOG) is a widely used feature descriptor in computer vision for the purpose of object detection. In the paper, a modified HOG descriptor is described, it uses a lookup table and the method of integral image to speed up the detection performance by a factor of 5~10. By exploiting the special hardware features of a given platform(e.g. a digital signal processor), further improvement can be made to the HOG descriptor in order to have real-time object detection and tracking.

研究动机与目标

• 解决传统HOG描述符在实时目标检测中计算瓶颈的问题。
• 降低HOG流水线中方向梯度计算的时间开销，该步骤是主要性能瓶颈。
• 通过积分图像实现滑动窗口上快速的直方图聚合，以加速区域特征提取。
• 针对具有有限精度和高吞吐量需求的嵌入式系统和DSP平台，优化HOG流水线。
• 在标准和嵌入式硬件上实现实时性能，且不牺牲检测精度。

提出的方法

• 预计算一个511×511的查找表，用于梯度对(dx, dy)的幅值和方向，以替代昂贵的三角函数运算。
• 采用简化的HOG变体，将梯度幅值设为单位值，仅关注方向桶以减少计算量。
• 将梯度方向离散化为N_b个桶（例如8或9个），并根据像素的方向将其分配到单个桶中。
• 为每个桶构建一个独立的二值图像，若像素的梯度方向落入该桶，则值为1，否则为0。
• 对每个桶特定的图像应用积分图像（累加面积表）技术，以实现恒定时间的矩形区域求和查询。
• 利用积分图像在O(N_b)时间内计算任意矩形区域的直方图计数，与区域大小无关。

实验结果

研究问题

• RQ1 查找表能否显著减少HOG描述符中方向梯度计算所需的时间？
• RQ2 积分图像能否有效应用于加速HOG特征提取中滑动窗口上的直方图计算？
• RQ3 在HOG流水线中结合使用查找表和积分图像能带来多大的性能提升？
• RQ4 HOG描述符在标准和嵌入式处理器上实现实时运行的优化程度如何？
• RQ5 在使用优化后的HOG特征时，舍弃梯度幅值信息是否会影响检测性能？

主要发现

• 与标准OpenCV实现相比，所提方法在HOG特征计算上实现了5倍至10倍的加速。
• 对于800×600的图像，该优化后的HOG描述符在普通台式机（Intel i5 CPU）上处理时间约为30毫秒。
• 使用64位编译可将处理时间减少至约15毫秒。
• 对于较小的输入尺寸（352×288），处理时间降至8毫秒以下，使用64位代码时可低于5毫秒。
• 该方法可在标准和嵌入式平台上实现实时目标检测，尤其在结合优化的低精度数据类型时效果更佳。
• 舍弃梯度幅值信息对检测性能影响极小，可在不显著损失精度的前提下实现进一步提速。