[논문 리뷰] Fast and Efficient Skin Detection for Facial Detection

Mohammad Reza Mahmoodi|arXiv (Cornell University)|2017. 01. 19.

Face and Expression Recognition참고 문헌 31인용 수 6

한 줄 요약

이 논문은 실시간 얼굴 검출을 위한 빠른 FPGA 가속 피부 검출 시스템을 제안한다. 82%의 이미지 픽셀을 제거하면서도 >98%의 진짜 양성률을 유지하는 빠른 사전 처리를 위해 삼항 변환을 사용하며, SDD 데이터셋에서 0.5978의 F-score를 달성하는 새로운 이중 단계 국소 확산 방법을 적용하여 스파르탄-6 FPGA에서 640×480 컬러 이미지를 98 fps로 처리할 수 있다.

ABSTRACT

In this paper, an efficient skin detection system is proposed. The algorithm is based on a very fast efficient pre-processing step utilizing the concept of ternary conversion in order to identify candidate windows and subsequently, a novel local two-stage diffusion method which has F-score accuracy of 0.5978 on SDD dataset. The pre-processing step has been proven to be useful to boost the speed of the system by eliminating 82% of an image in average. This is obtained by keeping the true positive rate above 98%. In addition, a novel segmentation algorithm is also designed to process candidate windows which is quantitatively and qualitatively proven to be very efficient in term of accuracy. The algorithm has been implemented in FPGA to obtain real-time processing speed. The system is designed fully pipeline and the inherent parallel structure of the algorithm is fully exploited to maximize the performance. The system is implemented on a Spartan-6 LXT45 Xilinx FPGA and it is capable of processing 98 frames of 640*480 24-bit color images per second.

연구 동기 및 목표

• 파이pline의 초기 단계에서 계산 부담을 줄임으로써 실시간 얼굴 검출 시스템 내 피부 검출을 가속화하고자 한다.
• 이미지 처리 부담을 크게 줄이면서도 높은 검출 정확도(정상 양성률 >98%)를 유지하고자 한다.
• 실시간 성능를 달성하기 위해 FPGA에 적합한 하드웨어 최적화된 완전한 파이pline 아키텍처 알고리즘을 설계하고자 한다.
• 후보 윈도우에 대한 효율적인 분할 알고리즘을 개발하여 속도를 희생시키지 않고도 정확도를 향상시키고자 한다.

제안 방법

• 이미지 픽셀에 삼항 변환을 적용하여 비피부 영역을 신속히 분류하고 제거함으로써 평균적으로 이미지 데이터의 82%를 감소시킨다.
• 피부 영역 검출을 정밀하게 개선하기 위해 이중 단계 국소 확산 방법을 사용한다.
• 검출 정밀도를 향상시키기 위해 후보 윈도우에 특화된 새로운 분할 알고리즘을 설계한다.
• 알고리즘의 고유한 병렬성을 최대한 활용하기 위해 전체 파이프라인을 완전히 파이pline 아키텍처로 구현한다.
• 스파르탄-6 LXT45 Xilinx FPGA에 알고리즘을 매핑하여 640×480 컬러 이미지에 대해 실시간 98 fps 처리를 달성한다.
• 알고리즘의 병렬적 구조를 활용하여 하드웨어 효율성을 극대화한다.

실험 결과

연구 질문

• RQ1 삼항 변환 기반 사전 처리 단계가 피부 영역을 유지하면서도 이미지 데이터를 상당히 감소시킬 수 있는가?
• RQ2 제안된 이중 단계 국소 확산 방법이 기준 방법 대비 피부 검출 F-score 향상에 얼마나 효과적인가?
• RQ3 전체 피부 검출 파이프라인이 FPGA에 효율적으로 매핑되어 실시간 성능를 달성할 수 있는가?
• RQ4 대규모 이미지 데이터를 제거하면서도 제안된 시스템이 높은 진짜 양성률을 유지하는 정도는 어느 정도인가?
• RQ5 표준 해상도 컬러 이미지에서 FPGA로 구현된 시스템의 구현 가능한 프레임 레이트는 얼마인가?

주요 결과

• 삼항 사전 처리 단계는 평균적으로 이미지 픽셀의 82%를 제거하면서도 진짜 양성률이 98% 이상을 유지하는 데 성공했다.
• 이중 단계 확산 방법은 SDD 데이터셋에서 F-score 0.5978을 달성하여 기준 접근 방식 대비 정확도 향상을 입증했다.
• FPGA 구현은 640×480, 24비트 컬러 이미지에 대해 실시간 98 프레임/초 성능을 달성했다.
• 시스템의 완전한 파이pline 아키텍처는 병렬성을 효과적으로 활용하여 처리량을 극대화했다.
• 새로운 분할 알고리즘은 정량적 및 정성적 측면에서 정확도와 속도 면에서 매우 효율적임을 입증했다.