[论文解读] Fast and Efficient Skin Detection for Facial Detection

Mohammad Reza Mahmoodi|arXiv (Cornell University)|Jan 19, 2017

Face and Expression Recognition参考文献 31被引用 6

一句话总结

本文提出了一种快速、基于FPGA加速的皮肤检测系统，用于实时面部检测。它采用三元转换进行快速预处理，可消除82%的图像像素，同时保持超过98%的真正例率，随后采用一种新颖的两阶段局部扩散方法，在SDD数据集上实现0.5978的F-score，使Spartan-6 FPGA能够以98 fps处理640×480彩色图像。

ABSTRACT

In this paper, an efficient skin detection system is proposed. The algorithm is based on a very fast efficient pre-processing step utilizing the concept of ternary conversion in order to identify candidate windows and subsequently, a novel local two-stage diffusion method which has F-score accuracy of 0.5978 on SDD dataset. The pre-processing step has been proven to be useful to boost the speed of the system by eliminating 82% of an image in average. This is obtained by keeping the true positive rate above 98%. In addition, a novel segmentation algorithm is also designed to process candidate windows which is quantitatively and qualitatively proven to be very efficient in term of accuracy. The algorithm has been implemented in FPGA to obtain real-time processing speed. The system is designed fully pipeline and the inherent parallel structure of the algorithm is fully exploited to maximize the performance. The system is implemented on a Spartan-6 LXT45 Xilinx FPGA and it is capable of processing 98 frames of 640*480 24-bit color images per second.

研究动机与目标

• 通过在流水线早期阶段减少计算负载，加速实时面部检测系统中的皮肤检测。
• 在大幅降低图像处理负载的同时，保持高检测准确率（真正例率 >98%）。
• 设计一种硬件优化的全流水线算法，适用于FPGA部署以实现实时性能。
• 开发一种高效的候选窗口分割方法，提升准确率而不牺牲速度。

提出的方法

• 对图像像素应用三元转换，以快速分类并剔除非皮肤区域，平均减少82%的图像数据。
• 采用两阶段局部扩散方法以优化皮肤区域检测，提升F-score准确率。
• 设计一种专为候选窗口定制的新型分割算法，以增强检测精度。
• 在整个流水线中实现全流水线架构，以充分利用内在并行性。
• 将算法映射到Spartan-6 LXT45 Xilinx FPGA上，实现在640×480彩色图像下98 fps的实时处理性能。
• 通过利用算法的并行结构，对系统进行硬件效率优化。

实验结果

研究问题

• RQ1 基于三元转换的预处理步骤是否能显著减少图像数据，同时保留用于面部检测的皮肤区域？
• RQ2 所提出的两阶段局部扩散方法相较于基线方法，在提升皮肤检测F-score方面的有效性如何？
• RQ3 整个皮肤检测流水线是否能高效映射到FPGA上以实现实时性能？
• RQ4 所提出的系统在剔除大量图像数据的同时，能在多大程度上保持高真正例率？
• RQ5 在标准分辨率彩色图像上，FPGA实现的系统可达到的帧率是多少？

主要发现

• 三元预处理步骤平均成功剔除82%的图像像素，同时保持真正例率高于98%。
• 两阶段扩散方法在SDD数据集上实现了0.5978的F-score，证明其在准确率上优于基线方法。
• FPGA实现达到了640×480、24位彩色图像下98帧每秒的实时性能。
• 系统的全流水线架构有效利用了并行性，最大化吞吐量。
• 新型分割算法在定量和定性上均被证明在准确率和速度方面具有高度效率。