[논문 리뷰] WIDER Face and Pedestrian Challenge 2018: Methods and Results

Chen Change Loy, Dahua Lin외 50명|arXiv (Cornell University)|2019. 02. 19.

Face recognition and analysis참고 문헌 28인용 수 28

한 줄 요약

이 논문은 2018년 WIDER Face 및 Pedestrian 챌린지에서 입상한 방법과 결과를 제시한다. 이 챌린지는 세 개의 트랙을 통해 얼굴 검출, 보행자 검출, 그리고 인물 검색을 평가하였다. 고도로 발전한 단일 단계 검출기, 다중 척도 특징 융합, 얼굴 및 신체 Re-ID 특징을 활용한 이단계 재순서 프레임워크를 강조하며, WIDER Face에서 최신 기술 수준의 mAP 55.82%를 달성했고, 얼굴 및 신체 유사성 점수를 융합하여 인물 검색 분야에서 최고 성능을 기록하였다.

ABSTRACT

This paper presents a review of the 2018 WIDER Challenge on Face and Pedestrian. The challenge focuses on the problem of precise localization of human faces and bodies, and accurate association of identities. It comprises of three tracks: (i) WIDER Face which aims at soliciting new approaches to advance the state-of-the-art in face detection, (ii) WIDER Pedestrian which aims to find effective and efficient approaches to address the problem of pedestrian detection in unconstrained environments, and (iii) WIDER Person Search which presents an exciting challenge of searching persons across 192 movies. In total, 73 teams made valid submissions to the challenge tracks. We summarize the winning solutions for all three tracks. and present discussions on open problems and potential research directions in these topics.

연구 동기 및 목표

• 극도로 제약이 없는 조건에서 척도, 자세, 가림, 조명 변화 등에 대한 강건한 얼굴 및 보행자 검출 기술의 최신 기술 수준 성능을 향상시키기 위해.
• 192개의 영상에서 인물 검색 과제를 해결하기 위해 얼굴 및 신체 특징을 활용하여 정확하게 신원을 복원하는 데 도전하기 위해.
• 통합 벤치마크에서 세 가지 서로 다른 컴퓨터 비전 과제(얼굴 검출, 보행자 검출, 인물 검색)에 대해 다양한 딥 러닝 아키텍처 및 훈련 전략을 평가하고 비교하기 위해.
• 현재 접근 방식의 한계를 규명하고, 특히 통합된 특징 학습 및 환경 맥락 통합 분야에서의 향후 연구 방향을 제안하기 위해.

제안 방법

• 다중 척도 특징 융합 및 고도로 발전한 헤드 설계를 갖춘 단일 단계 얼굴 검출기를 사용하여, FPN 및 포칼 손실 기법을 활용해 소형 얼굴에 대한 정확도를 향상시켰다.
• 사전 학습된 MTCNN 및 PCN을 얼굴 검출기로 사용하고, 강건한 얼굴 임bedding 학습을 위해 딥 메트릭 러닝(ArcFace, Ring loss)을 적용하였다.
• 신체 특징 추출을 위해 SE-ResNeXt50에 잔차 주의 블록을 적용하였으며, 소프트맥스 및 링 손실을 함께 사용해 훈련하여 보다 향상된 인물 재식별 성능를 확보하였다.
• 이단계 검색 파이프라인을 구현: 먼저 얼굴 인식을 통해 후보 이미지를 추출하고, 이후 신체 Re-ID 특징을 사용해 재순서를 통해 비면대상 또는 가림된 사람의 재현율을 향상시켰다.
• 쿼리 및 갤러리 이미지 간 유사도 점수를 정밀하게 보정하기 위해 k-상호재순서 재정렬을 적용하여 상위-k 검색 성능을 향상시켰다.
• 가중 평균을 사용해 얼굴 및 신체 유사성 점수를 점수 수준에서 융합하여 최종 인물 검색 정확도를 향상시켰다.

실험 결과

연구 질문

• RQ1 척도 및 가림에 극도로 민감한 환경에서 얼굴 검출 성능을 최적화하기 위해 어떤 딥 러닝 아키텍처와 훈련 기법이 가장 효과적인가?
• RQ2 다양한 자세, 조명 조건, 혼잡한 배경 조건이 존재하는 제약 없는 환경에서 보행자 검출을 어떻게 효과적으로 최적화할 수 있는가?
• RQ3 쿼리 이미지에 얼굴만 존재하고 갤러리 이미지에 정면 뷰가 없는 경우, 인물 검색의 최적 전략은 무엇인가?
• RQ4 얼굴 및 신체 특징을 함께 모델링하면 단일 모odal을 사용하는 것보다 검색 정확도를 향상시킬 수 있는가?
• RQ5 현재의 이단계 프레임워크에서 인물 검색 분야의 주요 한계는 무엇이며, 성능 향상을 위해 통합 아키텍처는 어떤 방향으로 개선되어야 하는가?

주요 결과

• 우승한 얼굴 검출 솔루션은 WIDER Face 하드 세트에서 mAP 55.82%를 달성하여, 다중 척도 특징 융합 및 고도로 발전한 헤드 설계 덕분에 이전 방법보다 뚜렷하게 뛰어난 성능을 보였다.
• 최고 성능을 기록한 보행자 검출 시스템은 FPN과 포칼 손실을 적용한 단일 단계 검출기를 사용하여 다양한 보행자 외형과 체적 변화에 강력한 일반화 성능을 보였다.
• 인물 검색 분야에서 3위 성과를 기록한 솔루션은 초기 후보 검색을 위해 얼굴 인식을 활용하고, 재순서 단계에서 신체 Re-ID를 적용하여 최종 mAP를 향상시키는 방식으로 높은 성능을 달성하였다.
• 딥 메트릭 네트워크에서 다중 손실 훈련(소프트맥스 + 링 손실)을 적용함으로써 더 구분력 있는 얼굴 및 신체 임베딩가 생성되어 이질적 모달 간 매칭 성능이 향상되었다.
• k-상호재순서 인코딩을 사용한 재순서 처리가 인물 검색에서 상위-1 및 상위-5 정확도를 크게 향상시켰으며, 특히 하드 음성 샘플에 대해 유의미한 개선 효과를 보였다.
• 강력한 성능를 기록했음에도 불구하고, 얼굴 및 신체 특징 학습을 통합하는 단일 모델은 제안되지 않았으며, 이는 향후 연구에서 해결해야 할 핵심 과제로 남아 있다.