[논문 리뷰] Scale-Aware Face Detection

Zekun Hao, Yu Liu외 4명|arXiv (Cornell University)|2017. 06. 29.

Face recognition and analysis참고 문헌 36인용 수 28

한 줄 요약

이 논문은 두 단계로 구성된 스케일 인식 얼굴 검출(SAFD) 프레임워크를 제안한다. 이 프레임워크는 경량 스케일 프로포절 네트워크(SPNe)를 통해 먼저 얼굴의 스케일 분포를 추정한 후, 이미지를 재조정하여 검출 효율을 최적화한다. 이 방법은 다중 스케일 테스트를 피하면서도 높은 재현율과 정밀도를 유지하면서 FDDB, MALF, AFW에서 최고 성능을 달성하며, 계산량을 크게 줄였다.

ABSTRACT

Convolutional neural network (CNN) based face detectors are inefficient in handling faces of diverse scales. They rely on either fitting a large single model to faces across a large scale range or multi-scale testing. Both are computationally expensive. We propose Scale-aware Face Detector (SAFD) to handle scale explicitly using CNN, and achieve better performance with less computation cost. Prior to detection, an efficient CNN predicts the scale distribution histogram of the faces. Then the scale histogram guides the zoom-in and zoom-out of the image. Since the faces will be approximately in uniform scale after zoom, they can be detected accurately even with much smaller CNN. Actually, more than 99% of the faces in AFW can be covered with less than two zooms per image. Extensive experiments on FDDB, MALF and AFW show advantages of SAFD.

연구 동기 및 목표

• CNN 기반 얼굴 검출기가 큰 스케일 변동성을 처리하기 위해 과도한 계산을 유발하는 데서 비효율성을 해결하기 위해.
• 검출 이전에 스케일 변동을 명시적으로 모델링하여 얼굴 검출의 계산 비용을 줄이기 위해.
• 스케일 추정을 통해 얼굴 스케일을 정규화함으로써 더 작은 단일 스케일 검출기로 고정밀도 검출을 가능하게 하기 위해.
• 경계 상자 애너테이션을 필요로 하지 않는 약한 지도 학습 기반의 경량 SPN을 설계하여 스케일 히스토그램을 예측하기 위해.
• 스케일 인식 전처리가 다중 스케일 테스트보다 더 빠르고 정확한 검출을 가능하게 함을 입증하기 위해.

제안 방법

• 입력 이미지에서 이미지 수준의 지도 학습을 사용하고, 실제 경계 상자 정보 없이도 전체적인 얼굴 스케일 히스토그램을 예측하는 완전 컨볼루션형 스케일 프로포절 네트워크(SPNe)를 사용한다.
• SPN은 다양한 스케일에서 얼굴이 존재할 가능성을 나타내는 고정 길이의 히스토그램 벡터를 출력하며, 이는 로그 스케일 기준으로 8에서 512 픽셀 사이에 0.1의 해상도를 가진다.
• 예측된 스케일 히스토그램을 바탕으로 입력 이미지가 목표 스케일 범위(36~72 픽셀)로 재조정되어, 모든 얼굴이 검출기의 최적 수신장치 내에 포함되도록 한다.
• 검출 단계에서는 좁은 스케일 범위에 최적화된 단일 스케일 영역 프로포절 네트워크(RPN)를 사용하여 정확도와 속도를 향상시킨다.
• SPN이 스케일 추정을 수행하고 RPN이 검출을 수행하는 두 단계 파이프라인은 FLOPs를 줄이며 효율적이고 고정밀도의 추론을 가능하게 한다.
• SPN과 RPN은 컨볼루션 레이어를 공유함으로써 모델 크기와 계산량을 추가로 줄일 수 있다.

실험 결과

연구 질문

• RQ1 명시적인 스케일 추정이 정확도를 유지하거나 향상시키면서도 계산 비용을 줄일 수 있는가?
• RQ2 경계 상자 애너테이션 없이도 경량의 약한 지도 학습 기반 SPN이 관련 얼굴 스케일을 얼마나 효과적으로 예측할 수 있는가?
• RQ3 스케일 인식 이미지 재조정과 결합했을 때 단일 스케일 검출이 다중 스케일 테스트를 얼마나 뛰어나게 할 수 있는가?
• RQ4 높은 스케일 다양성과 도전적인 작은 얼굴을 포함한 데이터셋에 대해 제안된 방법이 일반화 가능한가?
• RQ5 스케일 인식 얼굴 검출에서 검출 속도, 정확도, 모델 복잡도 사이의 상호 상충 관계는 어떠한가?

주요 결과

• SPN은 AFW에서 약 99%의 얼굴이 한 장당 두 번 이내의 줌으로 커버되는 높은 재현율을 달성했으며, 대부분의 실패는 작은 얼굴에서 발생한다.
• FDDB에서 SAFD는 정확도와 속도 면에서 다중 스케일 테스트 기반 베이스라인을 모두 능가하는 최고 수준의 성능을 기록했다.
• MALF에서는 작은 얼굴과 다양한 얼굴이 존재하는 도전적인 조건에도 불구하고, SAFD는 고신뢰도 영역에서 높은 정확도를 유지했고, 다중 스케일 RPN 대비 거짓 경고를 줄였다.
• SAFD의 평균 이미지당 FLOPs는 데이터셋의 콘텐츠에 따라 변동하지만, 가장 복잡한 MALF 데이터셋에서도 다중 스케일 테스트 RPN보다 훨씬 빠르게 작동했다.
• SA-RPN은 다중 스케일 테스트 RPN보다 몇 배 빠르며, 재현율을 유지하거나 향상시키고 거짓 경고를 줄였다.
• SPN은 이미지 수준의 지도 학습을 통해 학습이 가능하며 RPN과 특징을 공유함으로써 모델 압축과 더 빠른 추론을 가능하게 했다.