[논문 리뷰] The Elements of End-to-end Deep Face Recognition: A Survey of Recent Advances

Hang Du, Hailin Shi외 3명|arXiv (Cornell University)|2020. 09. 28.

Face recognition and analysis인용 수 14

한 줄 요약

이 종합적 서베이는 끝에서 끝까지 딥 라이프 인식에 대해 종합적으로 검토하며, 딥 컨volution 네트워크를 사용한 얼굴 검출, 정렬 및 표현을 포함한다. 강력한 베이스라인 방법을 규명하고 구성 요소 간의 상호작용을 분석하며, 견고하고 공정하며 해석 가능한 얼굴 인식 시스템을 위한 주요 과제와 향후 방향을 제시한다.

ABSTRACT

Face recognition is one of the most popular and long-standing topics in computer vision. With the recent development of deep learning techniques and large-scale datasets, deep face recognition has made remarkable progress and been widely used in many real-world applications. Given a natural image or video frame as input, an end-to-end deep face recognition system outputs the face feature for recognition. To achieve this, a typical end-to-end system is built with three key elements: face detection, face alignment, and face representation. The face detection locates faces in the image or frame. Then, the face alignment is proceeded to calibrate the faces to the canonical view and crop them with a normalized pixel size. Finally, in the stage of face representation, the discriminative features are extracted from the aligned face for recognition. Nowadays, all of the three elements are fulfilled by the technique of deep convolutional neural network. In this survey article, we present a comprehensive review about the recent advance of each element. To start with, we present an overview of the end-to-end deep face recognition. Then, we review the advance of each element, respectively, covering many aspects such as the to-date algorithm designs, evaluation metrics, datasets, performance comparison, existing challenges, and promising directions for future research. Also, we provide a detailed discussion about the effect of each element on its subsequent elements and the holistic system. Through this survey, we wish to bring contributions in two aspects: first, readers can conveniently identify the methods which are quite strong-baseline style in the subcategory for further exploration; second, one can also employ suitable methods for establishing a state-of-the-art end-to-end face recognition system from scratch.

연구 동기 및 목표

• 딥 라이프 인식 분야에서 최근의 진전을 체계적으로 검토하여, 얼굴 검출, 얼굴 정렬, 얼굴 표현이라는 세 핵심 구성 요소에 집중한다.
• 각 구성 요소가 후속 단계 및 전체 시스템에 미치는 상호의존성과 성능 영향을 분석한다.
• 미래 연구 및 시스템 개발을 지원하기 위해 각 하위 작업에 대한 강력한 베이스라인 방법을 규명한다.
• 도메인 일반화, 긴 꼬리 데이터, 노이즈 있는 레이블, 레이블이 없는 데이터 활용과 같은 열린 과제를 부각시킨다.
• 해석 가능한 모델, 공동 최적화, 유니버설 프리트레인, 신뢰할 수 있는 시스템과 같은 향후 연구 방향을 제안한다.

제안 방법

• 딥 컨volution 네트워크(DCNNs)를 사용한 얼굴 검출, 얼굴 정렬, 얼굴 표현 분야의 최신 기법을 서베이한다.
• 표준 메트릭(예: mAP, 정확도)과 벤치마크 데이터셋(예: MS-Celeb-1M, CASIA-WebFace)을 기반으로 알고리즘을 평가한다.
• 제거 및 비교 연구를 통해 각 구성 요소가 하류 성능에 미치는 영향을 분석한다.
• 세 단계에 걸쳐 아키텍처 설계, 손실 함수, 학습 전략을 기준으로 방법을 분류한다.
• 반감독 학습, 군집화, 자기지도 학습 프리트레인 기법을 활용해 레이블이 없는 데이터의 잠재력을 통합한다.
• 종합적인 프레임워크를 제안하여 엔드 투 엔드 학습을 가능하게 하고, 향후 얼굴 분석 작업을 위한 유니버설 프리트레인의 필요성을 주장한다.

실험 결과

연구 질문

• RQ1 최근의 딥 러닝 기법은 엔드 투 엔드 얼굴 인식에서 얼굴 검출, 정렬, 표현을 어떻게 향상시키는가?
• RQ2 각 구성 요소(검출, 정렬, 표현)가 전체 시스템 정확도에 미치는 성능 영향은 어떠한가?
• RQ3 각 하위 작업에 대해 강력한 베이스라인으로서 사용될 수 있는 방법은 무엇이며, 향후 연구에서 공정한 비교를 가능하게 하는가?
• RQ4 실제 응용에서 교차 도메인 인식, 긴 꼬리 데이터, 노이즈 있는 레이블, 레이블이 없는 데이터와 관련된 주요 과제는 무엇인가?
• RQ5 공동 모델링과 유니버설 프리트레인을 통해 엔드 투 엔드 시스템을 더 해석 가능하고 공정하며 견고하고 신뢰할 수 있도록 만들 수 있는가?

주요 결과

• 딥 컨volution 네트워크 기반 검출기 덕분에 얼굴 검출 기술이 크게 발전하여 대규모 데이터셋에서 높은 정확도를 달성했지만, 극한 조건에서는 여전히 과제가 남아 있다.
• 딥 라이프 랜드마크 정렬을 통한 얼굴 정렬은 자세나 조명 변화가 심한 상황에서 표현 품질을 향상시킨다.
• 딥 컨볼루션 네트워크를 통한 얼굴 표현은 주요 벤치마크에서 인간 수준의 성능을 달성했으며, 마진 기반 및 트리플릿 손실 함수가 매우 효과적이다.
• 전체 시스템의 성능은 가장 약한 구성 요소에 의해 저해되므로, 구성 요소 수준의 최적화와 구성 요소 간의 상호보완적 상호작용의 중요성을 강조한다.
• 긴 꼬리 데이터와 도메인 이동은 여전히 주요 과제이며, 표현이 부족한 클래스나 도메인에서 성능 저하가 관찰된다.
• 자기지도 학습 및 비지도 프리트레인은 하류 얼굴 분석 작업의 성능을 향상시키는 데 유망한 보편적인 얼굴 표현을 학습하는 데 기여한다.