[논문 리뷰] DSFD: Dual Shot Face Detector

Jian Li, Yabiao Wang외 7명|arXiv (Cornell University)|2018. 10. 24.

Face recognition and analysis참고 문헌 38인용 수 8

한 줄 요약

이 논문은 특징 증강 모듈(FEM)을 통해 특징 표현을 향상시키고, 두 개의 특징 스트림 간의 다중 척도 감독을 위해 점진적 앵커 손실(PAL)을 적용하며, 더 나은 회귀기 초기화를 위해 개선된 앵커 매칭(IAM)을 사용하는 이중 촬기 얼굴 검출기 DSFD를 제안한다. DSFD는 WIDER FACE(에이지 96.6% AP, 하드 90.4% AP)와 FDDB(1,000개의 잘못된 경고 시 86.2% 성능)에서 최고 성능을 기록하여 척도, 가림, 조명 변화에 대한 강건성을 입증한다.

ABSTRACT

In this paper, we propose a novel face detection network with three novel contributions that address three key aspects of face detection, including better feature learning, progressive loss design and anchor assign based data augmentation, respectively. First, we propose a Feature Enhance Module (FEM) for enhancing the original feature maps to extend the single shot detector to dual shot detector. Second, we adopt Progressive Anchor Loss (PAL) computed by two different sets of anchors to effectively facilitate the features. Third, we use an Improved Anchor Matching (IAM) by integrating novel anchor assign strategy into data augmentation to provide better initialization for the regressor. Since these techniques are all related to the two-stream design, we name the proposed network as Dual Shot Face Detector (DSFD). Extensive experiments on popular benchmarks, WIDER FACE and FDDB, demonstrate the superiority of DSFD over the state-of-the-art face detectors.

연구 동기 및 목표

• 척도, 자세, 가림, 조명 변화에 심한 변동이 있는 상황에서 얼굴을 검출하는 데 도전 과제를 해결하기 위해.
• 특징 수준 간의 분별성과 강건성을 향상시켜 단일 촬기 검출기의 특징 학습을 개선하기 위해.
• 점진적 손실 및 앵커 매칭 전략을 통해 클래스 불균형 문제를 완화하고 회귀기 초기화를 향상시키기 위해.
• 고성능 추론 속도를 확보하면서도 일단의 얼굴 검출에서 최고 성능을 달성하기 위해.

제안 방법

• 확장된 컨볼루션과 잔차 연결을 사용하여 다중 수준 특징을 융합하는 특징 증강 모듈(FEM)을 도입하여 두 번째 검출 스트림의 표현을 향상시킨다.
• 첫 번째 촬기에서는 작은 앵커를, 두 번째 촬기에서는 더 큰 앵커를 적용하는 점진적 앵커 손실(PAL)을 제안하여 검출 수준과 촬기 간의 점진적 감독을 가능하게 한다.
• 앵커 분할과 앵커 기반 데이터 증강을 통합하여 개선된 앵커 매칭(IAM)을 설계하여 긍정적 앵커 할당과 회귀기 초기화를 향상시킨다.
• 첫 번째 스트림은 원본 특징을 사용하고 두 번째 스트림은 향상된 특징을 사용하는 이중 스트림 검출 아키텍처를 구현하며, 둘 다 PAL을 통해 감독한다.
• VGG/ResNet 백본에 마지막 컨볼루션 블록 뒤에 FEM를 삽입하여 두 번째 검출 스트림용 향상된 특징을 생성한다.
• 이미지 피라미드를 통한 다중 척도 추론과 FDDB 평가를 위한 사후 타원 회귀를 적용한다.

실험 결과

연구 질문

• RQ1 향상된 특징 학습을 갖춘 이중 촬기 검출 프레임워크가 도전적인 얼굴 검출 벤치마크에서 성능 향상에 기여할 수 있는가?
• RQ2 두 번의 검출 촬기 간의 점진적 손실 설계가 더 나은 특징 학습과 검출 정확도를 이끌 수 있는가?
• RQ3 데이터 증강과 분할을 통한 개선된 앵커 매칭이 초기화 편향을 줄이고 회귀기 성능을 향상시킬 수 있는가?
• RQ4 제안된 방법은 정확도와 강건성 측면에서 최고 성능을 기록하는 일단의 얼굴 검출기들과 비교해 어떤가?

주요 결과

• WIDER FACE 검증 세트에서 DSFD는 에이지 세트에서 96.6% 평균 정밀도(AP), 미디엄 세트에서 95.7%, 하드 세트에서 90.4%를 기록한다.
• WIDER FACE 테스트 세트에서 DSFD는 에이지에서 96.0% AP, 미디엄에서 95.3%, 하드에서 90.0%를 달성하여 이전 최고 성능 방법들을 능가한다.
• FDDB 벤치마크에서 DSFD는 1,000개의 잘못된 경고 시 연속적 및 비연속적 ROC 곡선에서 각각 99.1%와 86.2%의 성능을 기록한다.
• 추가적인 애너테이션을 적용한 결과, DSFD의 잘못된 경고율이 더욱 감소하여 FDDB에서 모든 다른 방법들을 능가한다.
• 더 큰 배치 크기(LargeBS)를 사용할 경우, DSFD는 WIDER FACE 하드 세트에서 91.2% AP를 기록하여 데이터 증강 하에서 강력한 일반화 능력을 보여준다.
• ResNet-50 백본을 사용할 경우, DSFD는 단일 NVIDIA P40 GPU에서 VGA 해상도 입력에 대해 22 FPS로 빠른 추론 속도를 확보하여 높은 추론 효율성을 입증한다.