[논문 리뷰] Surveillance Face Recognition Challenge

Zhiyi Cheng, Xiatian Zhu외 1명|arXiv (Cornell University)|2018. 04. 25.

Face recognition and analysis참고 문헌 15인용 수 58

한 줄 요약

본 논문은 QMUL-SurvFace를 native 저해상도 감시 얼굴 인식 벤치마크로서 가장 큰 규모로 소개하고, 다섯 가지 심층 FR 모델을 벤치마크하며 웹 기반 벤치마크와의 큰 격차를 드러내고 초해상도 통합을 탐구한다.

ABSTRACT

Face recognition (FR) is one of the most extensively investigated problems in computer vision. Significant progress in FR has been made due to the recent introduction of the larger scale FR challenges, particularly with constrained social media web images, e.g. high-resolution photos of celebrity faces taken by professional photo-journalists. However, the more challenging FR in unconstrained and low-resolution surveillance images remains largely under-studied. To facilitate more studies on developing FR models that are effective and robust for low-resolution surveillance facial images, we introduce a new Surveillance Face Recognition Challenge, which we call the QMUL-SurvFace benchmark. This new benchmark is the largest and more importantly the only true surveillance FR benchmark to our best knowledge, where low-resolution images are not synthesised by artificial down-sampling of native high-resolution images. This challenge contains 463,507 face images of 15,573 distinct identities captured in real-world uncooperative surveillance scenes over wide space and time. As a consequence, it presents an extremely challenging FR benchmark. We benchmark the FR performance on this challenge using five representative deep learning face recognition models, in comparison to existing benchmarks. We show that the current state of the arts are still far from being satisfactory to tackle the under-investigated surveillance FR problem in practical forensic scenarios. Face recognition is generally more difficult in an open-set setting which is typical for surveillance scenarios, owing to a large number of non-target people (distractors) appearing open spaced scenes. This is evidently so that on the new Surveillance FR Challenge, the top-performing CentreFace deep learning FR model on the MegaFace benchmark can now only achieve 13.2% success rate (at Rank-20) at a 10% false alarm rate.

연구 동기 및 목표

• 원천 저해상도 감시 데이터에서 얼굴 인식의 난이도를 동기부여하고 정량화한다.
• 실제적인 오픈 셋 평가를 포함한 대규모 교차 위치 감시 FR 벤치마크를 구축한다.
• 감시 시나리오에서 식별 및 검증에 대해 대표적인 심층 FR 모델을 벤치마크한다.
• 저해상도 감시 FR 성능에 대한 이미지 초해상도의 영향을 조사한다.
• 감시 얼굴 인식을 발전시키기 위한 개방된 연구 방향을 논의한다.

제안 방법

• QMUL-SurvFace를 17개의 공개 도메인 개인 재식별 데이터셋에서 구성하여 15,573명의 ID에 대해 463,507개의 원천 저해상도 얼굴 이미지를 생성한다.
• 오픈-set 평가를 지원하기 위해 교차 뷰 ID 라벨을 주석으로 달아 오픈-set 평가를 지원한다.
• 식별 및 검증에 대해 폐쇄집합과 오픈셋 설정에서 다섯 가지 대표적인 심층 FR 모델(DeepID2, CentreFace, VggFace, FaceNet, SphereFace)을 평가한다.
• 도메인 차이를 강조하기 위해 FR 성능을 기존 웹 기반 벤치마크(MegaFace, UCCS)와 비교한다.
• 독립적 및 공동 학습 스킴을 포함한 이미지 초해상도와 FR 모델의 조합을 탐구하여 저해상도 FR 향상을 평가한다.
• 감시 FR 향상에 있어 현재 SR 방법의 한계를 분석하고 향후 연구 방향을 논의한다.

실험 결과

연구 질문

• RQ1 웹 데이터로 학습된 최첨단 심층 FR 모델이 원천 저해상도 감시 이미지에 얼마나 일반화되는가?
• RQ2 오픈셋 인식에서 감시 FR과 웹 기반 벤치마크 간의 성능 격차는 무엇인가?
• RQ3 이미지 초해상도 기법이 저해상도 감시 FR 성능을 실제로 향상시키는가?
• RQ4 감시 환경에서 SR와 FR 모델을 결합하는 효과적인 전략은 무엇인가?
• RQ5 감시 얼굴 인식을 발전시키는 데 가장 중요한 공개 연구 방향은 무엇인가?

주요 결과

• CentreFace는 QMUL-SurvFace에서 29.9% Rank-1을 달성했고, 폐쇄집합 테스트에서 MegaFace의 65.2%에 비해 크게 낮다.
• QMUL-SurvFace에서 오픈-set FR은 여전히 현저히 도전적이며, CentreFace는 Rank-20에서 13.8%에 불과하며 FAR 10%에서.
• 원천 감시 FR(QMUL-SurvFace)과 웹 기반 벤치마크(MegaFace) 사이에 예상보다 큰 성능 격차가 있다.
• 현재의 초해상도 방법은 감시 데이터의 저해상도 FR 성능을 신뢰성 있게 향상시키지 못한다.
• SR과 FR 모델의 결합은 한정된 향상을 가져오며, 픽셀 수준 복원 외의 도메인 특화 문제를 시사한다.
• 본 논문은 원천 감시 FR 문제를 다루기 위한 수많은 개방형 연구 방향을 강조한다.