[논문 리뷰] Faceness-Net: Face Detection through Deep Facial Part Responses

Shuo Yang, Ping Luo외 2명|arXiv (Cornell University)|2017. 01. 29.

Face recognition and analysis참고 문헌 63인용 수 4

한 줄 요약

이 논문은 얼굴 속성 감독을 활용하여 명시적인 부분 레이블 없이도 얼굴 부분 검출기를 암묵적으로 학습하는 딥 컨볼루션 신경망 기반 얼굴 검출 방법인 Faceness-Net을 제안한다. 얼굴 부분의 공간적 구성에 기반해 응답을 평가함으로써, 가림 및 자세 변화에 강건한 고재현율 얼굴 후보 영역을 생성하며, FDDB, PASCAL Faces, AFW, WIDER FACE에서 최신 기술 수준의 성능을 달성한다. FDDB에서 92.84%의 재현율과 단일 GPU에서 40ms의 추론 시간을 기록한다.

ABSTRACT

We propose a deep convolutional neural network (CNN) for face detection leveraging on facial attributes based supervision. We observe a phenomenon that part detectors emerge within CNN trained to classify attributes from uncropped face images, without any explicit part supervision. The observation motivates a new method for finding faces through scoring facial parts responses by their spatial structure and arrangement. The scoring mechanism is data-driven, and carefully formulated considering challenging cases where faces are only partially visible. This consideration allows our network to detect faces under severe occlusion and unconstrained pose variations. Our method achieves promising performance on popular benchmarks including FDDB, PASCAL Faces, AFW, and WIDER FACE.

연구 동기 및 목표

• 가림 및 자세 변화 상황에서 얼굴 검출의 강건성을 향상시키기 위해 얼굴 속성 기반 감독의 유용성을 탐색하는 것.
• 명시적인 부분 수준 감독 없이도 얼굴 속성 인식을 위한 CNN을 학습할 경우 부분 검출기가 자연스럽게 유도되는지 탐구하는 것.
• 얼굴 부분 응답의 공간 일관성에 기반해 얼굴 유사도를 평가하는 데이터 기반의 Faceness 점수 기반 메커니즘을 개발하는 것.
• 부분 응답 구성으로 고품질의 고재현율 얼굴 후보 영역을 생성하여, 밀도 높은 슬라이딩 윈도우에 대한 의존도를 줄이는 것.
• 최소한의 아키텍처 수정과 부분 검출기 간의 파rameter 공유를 통해 효율적이고 정확한 얼굴 검출을 달성하는 것.

제안 방법

• 이진 얼굴 속성 레이블(예: 큰 입술, 미소)을 사용해 자르지 않은 얼굴 이미지에 대해 깊이 있는 CNN을 훈련시어 부분 특징 표현을 학습하는 것.
• 네트워크의 깊은 레이어에서 부분 반응 맵(이하 '파트니스 맵')을 추출하여, 명시적인 바운딩 박스 감독 없이도 얼굴 부분을 암묵적으로 검출하는 것.
• 학습된 점수 함수를 사용해 검출된 얼굴 부분의 공간적 타당성(예: 눈이 입 위, 코가 눈 사이에 위치)을 평가하여 '얼굴 유사도 점수'를 구성하는 것.
• 얼굴 유사도 점수를 사용해 일반적인 객체 후보 생성기나 템플릿 기반 방법으로부터 유도된 후보 영역을 재정렬하여 고품질의 얼굴 후보 영역 집합을 효율적으로 생성하는 것.
• 최종 얼굴 검출 결과를 향상시키기 위해 바운딩 박스 회귀와 얼굴 분류를 동시에 수행하는 다중 작업 CNN을 사용해 정밀도를 높이는 것.
• 속성 기반 네트워크 간에 저수준 및 중수준 컨볼루션 레이어를 공유함으로써 파라미터 수를 약 83% 감소시키면서도 특징의 강건성을 향상시키는 것.

실험 결과

연구 질문

• RQ1 명시적인 부분 수준 감독 없이도 얼굴 속성 인식을 위한 CNN을 학습할 경우, 부분 검출기가 자연스럽게 유도되는가?
• RQ2 얼굴 부분 응답의 공간 일관성이 가림 및 자세 변화 상황에서 얼굴 검출 성능 향상에 효과적으로 활용될 수 있는가?
• RQ3 특히 도전적인 상황에서 바운딩 박스만으로 감독하는 것에 비해, 속성 기반 감독이 얼굴 검출의 일반화 능력을 향상시키는가?
• RQ4 부분 검출기 간에 공유된 특징 표현이 모델 파라미터 수를 크게 줄이면서도 성능을 유지하거나 향상시킬 수 있는가?
• RQ5 기존의 슬라이딩 윈도우 또는 R-CNN 기반 방법과 비교해 제안된 Faceness 점수 기반 메커니즘이 재현율과 효율성 면에서 어떻게 성능을 내는가?

주요 결과

• FDDB 데이터셋에서 167개의 가짜 양성 결과만을 기록하며 92.84%의 재현율을 달성하여, 동일 조건에서 Cascade-CNN보다 4.66% 높은 재현율을 기록한다.
• 전체 슬라이딩 윈도우의 약 0.5%이자 일반 객체 후보의 약 10%에 해당하는 약 150개의 후보만으로도 90% 이상의 얼굴 재현율을 달성하여 높은 효율성을 입증한다.
• 단일 GPU에서 40ms의 런타임을 기록하며, Faceness-Net-SR-TP의 빠른 버전은 기준 모델보다 훨씬 빠르면서도 더 높은 재현율을 유지한다.
• 명시적인 부분 레이블 없이도 얼굴 속성 학습을 통해 CNN 내에서 부분 검출기가 자연스럽게 유도됨을 확인하여, 본 연구의 핵심 관찰을 뒷받침한다.
• WIDER FACE, PASCAL Faces, AFW, FDDB 등 다양한 벤치마크에서 잘 일반화되며, 특히 WIDER FACE의 어려운 예제 세트에서도 강력한 성능을 보인다.
• 실패 사례는 주로 블러, 극단적인 조명 조건, 매우 작은 얼굴 크기(높이 20 픽셀 이하) 및 레이블 누락으로 인해 발생하여, 매우 작은 얼굴 검출의 과제를 드러낸다.