[논문 리뷰] Seeing Small Faces from Robust Anchor's Perspective

Chenchen Zhu, Ran Tao외 2명|arXiv (Cornell University)|2018. 02. 25.

Face recognition and analysis참고 문헌 47인용 수 16

한 줄 요약

이 논문은 16×16 픽셀 이하의 미니어처 얼굴 검출을 햖을 때 기존 앵커 기반 얼굴 검출기의 성능을 햖을 때 기존 앵커 기반 얼굴 검출기의 성능을 향상시키기 위해 새로운 앵커 설계를 제안한다. 이는 정답 얼굴과의 겹침을 최대화함으로써 이루어지며, 이론적 분석과 앵커 설계를 안내하기 위해 기대 최대 겹침(Expected Max Overlapping, EMO) 점수를 도입한다. 이를 통해 앵커 간격 감소, 이동된 앵커, 확률적 얼굴 이동 등의 전략을 제안하여 Wider Face, AFW, PASCAL Faces, FDDB에서 최고 성능을 달성하면서도 경쟁 가능한 추론 속도를 확보한다.

ABSTRACT

This paper introduces a novel anchor design to support anchor-based face detection for superior scale-invariant performance, especially on tiny faces. To achieve this, we explicitly address the problem that anchor-based detectors drop performance drastically on faces with tiny sizes, e.g. less than 16x16 pixels. In this paper, we investigate why this is the case. We discover that current anchor design cannot guarantee high overlaps between tiny faces and anchor boxes, which increases the difficulty of training. The new Expected Max Overlapping (EMO) score is proposed which can theoretically explain the low overlapping issue and inspire several effective strategies of new anchor design leading to higher face overlaps, including anchor stride reduction with new network architectures, extra shifted anchors, and stochastic face shifting. Comprehensive experiments show that our proposed method significantly outperforms the baseline anchor-based detector, while consistently achieving state-of-the-art results on challenging face detection datasets with competitive runtime speed.

연구 동기 및 목표

• 16×16 픽셀 이하의 작은 얼굴에 대해 앵커 기반 얼굴 검출기가 낮은 교차면적비(IoU)를 기록하는 문제를 해결하기 위해, 특히 앵커 박스와의 겹침이 낮아지는 문제를 다룬다.
• 현재의 앵커 설계가 왜 작은 얼굴과 높은 IoU를 확보하지 못하는지 분석한다. 특히 앵커 분포의 희소성과 고정된 앵커 위치 배치가 원인임을 규명한다.
• 더 높은 얼굴 IoU 잠재력을 지닌 앵커 설계를 정량화하고 이끌어내기 위한 이론적 지표인 기대 최대 겹침(Expected Max Overlapping, EMO) 점수를 개발한다.
• 모델 복잡도나 추론 시간을 크게 증가시키지 않으면서도 검출 정확도를 향상시키는 실용적이고 효과적인 앵커 설계 전략을 제안한다.
• 특히 어려운 얼굴과 미니어처 얼굴에 대해 Wider Face, AFW, PASCAL Faces, FDDB 등의 표준 벤치마크 데이터셋에서 최고 성능을 달성한다.

제안 방법

• 기대 최대 겹침(Expected Max Overlapping, EMO) 점수를 도입한다. 이는 얼굴의 위치가 이미지 평면 상의 2차원 분포에서 무작위로 선택될 때, 얼굴과 앵커 집합 간의 기대 최대 IoU로 정의된다.
• EMO 점수를 활용해 앵커 간격, 앵커 밀도, 앵커 위치가 다양한 크기의 얼굴과의 겹침에 미치는 영향을 분석한다.
• 앵커 밀도를 높이고 작은 얼굴의 커버리지 개선을 위해 앵커 간격 감소 전략을 제안하며, 이를 위한 수정된 네트워크 아키텍처를 적용한다.
• 기본 중심에서 떨어진 곳에 추가로 이동된 앵커를 도입하여 작은 얼굴과의 높은 IoU 가능성 증가를 도모한다.
• 학습 중에 확률적 얼굴 이동 기법을 적용하여 작은 얼굴과의 높은 IoU 겹침 확률을 높인다.
• 낮은 겹침을 보이는 얼굴에 대해 다중 앵커 매칭 기법을 도입하여 학습 성능 향상과 검출 신뢰도 향상을 도모한다.

실험 결과

연구 질문

• RQ1 왜 앵커 기반 얼굴 검출기는 특히 16×16 픽셀 이하의 작은 얼굴에 대해 성능이 열 劣할까?
• RQ2 앵커 박스의 분포가 작은 얼굴과의 최대 IoU에 어떤 영향을 미치는가?
• RQ3 더 높은 얼굴 겹침 잠재력을 지닌 앵커 설계를 정량화하고 이끌어내기 위한 이론적 지표를 도출할 수 있는가?
• RQ4 EMO 점수에서 유도된 실용적인 앵커 설계 전략은 어떻게 작은 얼굴 검출 성능 향상에 기여하는가?
• RQ5 향상된 앵커 설계가 추론 속도를 희생시키지 않고 표준 벤치마크에서 검출 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 Wider Face Hard 세트에서 평균 정밀도(AP) 94.9%를 달성하여 이전 최고 성능 기준을 초월한다.
• Wider Face 검증 세트에서 IoU=0.5일 경우 94.0%의 AP, IoU=0.6일 경우 91.4%, IoU=0.7일 경우 79.5%를 기록하며 기준 모델을 크게 앞서간다.
• 이미지 피라미드 테스트를 적용한 결과, Wider Face Hard 세트에서 86.1%의 AP를 기록하여 SSH 및 기타 선도적 방법을 뛰어넘는다.
• AFW 데이터셋에서 제안 방법은 Face++ 및 Picasa와 같은 상용 시스템을 포함한 모든 비교 방법 대비 높은 정밀도와 재현율을 확보한다.
• PASCAL Faces 데이터셋에서 제안 방법은 딥러닝 기반 및 전통적 얼굴 검출기 모두와 비교해 뛰어난 정밀도-재현율 성능을 보였다.
• FDDB 데이터셋에서 제안 방법은 최고의 AP 점수를 기록했으며, 고정밀도의 타원형 얼굴 앵커팅에 대한 강력한 일반화 능력을 입증했다.