[논문 리뷰] From Facial Parts Responses to Face Detection: A Deep Learning Approach

Shuo Yang, Ping Luo외 2명|arXiv (Cornell University)|2015. 09. 22.

Face recognition and analysis참고 문헌 33인용 수 103

한 줄 요약

이 논문은 얼굴의 공간적 구성에 기반해 얼굴 부분 반응(예: 눈, 코, 입)의 점수를 매김으로써 심한 가림과 자세 변화에 강건한 얼굴 검출을 가능하게 하는 이단계적 딥러닝 프레임워크인 Faceness-Net을 제안한다. 이는 FDDB에서 90.99%의 리콜을 달성하며 기존 최고 성능보다 2.91% 높으며, 효율적인 제안 생성 및 보정을 통해 실용적인 추론 속도를 유지한다.

ABSTRACT

In this paper, we propose a novel deep convolutional network (DCN) that achieves outstanding performance on FDDB, PASCAL Face, and AFW. Specifically, our method achieves a high recall rate of 90.99% on the challenging FDDB benchmark, outperforming the state-of-the-art method by a large margin of 2.91%. Importantly, we consider finding faces from a new perspective through scoring facial parts responses by their spatial structure and arrangement. The scoring mechanism is carefully formulated considering challenging cases where faces are only partially visible. This consideration allows our network to detect faces under severe occlusion and unconstrained pose variation, which are the main difficulty and bottleneck of most existing face detection approaches. We show that despite the use of DCN, our network can achieve practical runtime speed.

연구 동기 및 목표

• 기존 방법에서 여전히 걸림돌이 되고 있는 심한 가림과 큰 자세 변화 조건에서의 얼굴 검출 과제를 해결하기 위해.
• 부분 수준의 애너테이션에 의존하지 않고, 속성 인식 네트워크를 통해 암묵적으로 부분 반응을 학습하는 딥러닝 기반 얼굴 검출기 개발을 위해.
• 얼굴 부분 반응의 공간 일관성에 기반한 새로운 얼굴 유사도 점수를 제안하여 얼굴 검출 리콜을 향상시키기 위해.
• 최소한의 객체 제안(예: 이미지당 약 150개)으로도 높은 검출 정확도를 확보하면서도 실시간 추론 성능를 유지하기 위해.
• 이중단계 파이프라인을 통한 엔드 투 엔드 얼굴 검출을 가능하게 하기 위해: (1) 부분 반응 기반 얼굴 제안 생성, (2) 다중작업 학습을 통한 제안 보정

제안 방법

• 일반적인 객체에서 학습한 속성 인식 딥 네트워크를 사용자 정의 부분 속성(예: '큰 입술', '웃는')에 따라 미세조정하여 깊은 레이어에서 부분성 맵을 생성한다.
• 사전 얼굴 검출 없이도 한 번의 순방향 전파로, 자르지 않은 이미지에서 부분성 맵(얼굴 부분에 대한 반응 맵)을 생성한다.
• 검출된 부분의 공간적 배열을 평가하여 얼굴 유사도 점수를 계산한다—예를 들어 입이 코 위에 있는 등 불일치한 구성은 벌점 처리하여 얼굴 유사도를 평가한다.
• 얼굴 유사도 점수를 사용해 일반 객체 제안(예: MCG 또는 Edgebox)을 재정렬하여, 고품질의 소량의 얼굴 제안(~이미지당 150개)을 생성한다.
• 최종 얼굴 바운딩 박스를 다중작업 딥 네트워크를 통해 보정하며, 이는 동시에 얼굴 인식과 정밀한 위치 지정을 수행한다.
• 부분 검출기 간에 초기 합성곱 레이어(예: conv1–conv5)를 공유하여 계산 중복을 줄이고 추론 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 속성 수준의 감독만을 사용하여 명시적인 부분 애너테이션 없이도 깊이 컨volution 네트워크가 부분 반응을 탐지할 수 있는가?
• RQ2 얼굴 부분 반응의 공간 일관성이 가림과 자세 변화 조건에서 얼굴 검출의 강건성 향상에 효과적으로 활용될 수 있는가?
• RQ3 기반 부분 점수 기반 메커니즘이 제안 수를 줄이면서도 얼굴 제안 리콜을 크게 향상시킬 수 있는가?
• RQ4 이중단계 딥러닝 파이프라인을 사용해 실용적인 런타임 속도를 확보하면서도 최고 성능의 얼굴 검출 성능를 달성할 수 있는가?
• RQ5 어려운 조건에서 제안된 방법은 엔드 투 엔드 검출기와 비교해 리콜, 정밀도 및 효율성 측면에서 어떻게 성능를 보이는가?

주요 결과

• Faceness-Net은 FDDB 벤치마크에서 90.99%의 리콜을 달성하여 이전 최고 성능 기준보다 2.91% 높다.
• 이미지당 약 150개의 제안(전체 슬라이딩 윈도우의 약 0.5%)으로도 90% 이상의 리콜을 달성하여 높은 제안 효율성을 입증한다.
• 부분 기반 추론 메커니즘 덕분에 얼굴 영역의 절반 이상이 가려진 경우에도 높은 성능를 유지한다.
• 부분성 맵 점수 기반의 얼굴 제안 생성 단계는 MCG와 같은 일반 객체 제안보다 리콜과 정밀도에서 뛰어나며, 제안 수가 200개일 때조차도 슈퍼리어한 성능를 보였다.
• 최종 검출기는 PASCAL Faces 및 AFW 데이터셋에서 기존의 변형 가능한 부분 모델과 캐스케이드 기반 검출기보다 뛰어난 평균 정밀도와 리콜 성능를 확보하며 최고 성능를 기록했다.
• 단일 GPU에서 VGA 이미지당 50ms 내외로 실행되어, 깊은 네트워크를 사용하고 있음에도 불구하고 실용적인 런타임 효율성을 입증했다.