[논문 리뷰] Eight Years of Face Recognition Research: Reproducibility, Achievements and Open Issues

Tiago de Freitas Pereira, Dominic Schmidli외 4명|arXiv (Cornell University)|2022. 08. 08.

Face recognition and analysis인용 수 7

한 줄 요약

이 논문은 여덟 해에 걸친 얼굴 인식 기술의 진전을 다섯 개의 딥 러닝 모델과 여섯 개의 데이터셋을 활용해 재현 가능하고 오픈소스 기반의 프레임워크로 평가한다. 연구 결과, 현재 최고 수준의 모델들은 가림, 표정, 조명 문제를 잘 관리하고 있으나, 60도를 초과하는 자세 변화, 저해상도 이미징, 오픈세트 인식은 여전히 심각한 과제로 남아 있으며, 저품질 조건에서 SCface 데이터셋에서 FNMR가 69%에 이르렀다.

ABSTRACT

Automatic face recognition is a research area with high popularity. Many different face recognition algorithms have been proposed in the last thirty years of intensive research in the field. With the popularity of deep learning and its capability to solve a huge variety of different problems, face recognition researchers have concentrated effort on creating better models under this paradigm. From the year 2015, state-of-the-art face recognition has been rooted in deep learning models. Despite the availability of large-scale and diverse datasets for evaluating the performance of face recognition algorithms, many of the modern datasets just combine different factors that influence face recognition, such as face pose, occlusion, illumination, facial expression and image quality. When algorithms produce errors on these datasets, it is not clear which of the factors has caused this error and, hence, there is no guidance in which direction more research is required. This work is a followup from our previous works developed in 2014 and eventually published in 2016, showing the impact of various facial aspects on face recognition algorithms. By comparing the current state-of-the-art with the best systems from the past, we demonstrate that faces under strong occlusions, some types of illumination, and strong expressions are problems mastered by deep learning algorithms, whereas recognition with low-resolution images, extreme pose variations, and open-set recognition is still an open problem. To show this, we run a sequence of experiments using six different datasets and five different face recognition algorithms in an open-source and reproducible manner. We provide the source code to run all of our experiments, which is easily extensible so that utilizing your own deep network in our evaluation is just a few minutes away.

연구 동기 및 목표

• 표준화된 오픈소스 평가 프레임워크를 사용해 지난 8년간 얼굴 인식 연구의 재현 가능성과 진전을 평가하기 위해.
• 자세, 가림, 조명, 해상도, 표정 등의 개별 요소가 현대의 딥 러닝 기반 얼굴 인식 시스템에 미치는 영향을 분리하고 평가하기 위해.
• 실험적 평가에 기반해 어떤 얼굴 인식 요소들이 이제 잘 해결된 것으로 간주되고, 어떤 요소들이 여전히 열린 문제로 남아 있는지를 규명하기 위해.
• 다른 사람들이 자신의 딥 러닝 네트워크를 평가 파이프라인에 재현하고 통합할 수 있도록 공개된 소스 코드를 제공하기 위해.

제안 방법

• 모든 실험에서 데이터 전처리, 특징 추출, 평가 프로토콜을 표준화하기 위해 오픈소스 프레임워크인 Bob을 사용하였다.
• 여섯 개의 벤치마크 데이터셋을 사용해 다섯 개인 최고 수준의 얼굴 인식 모델—ArcFace-100, ArcFace-200, Zoo-AttentionNet, Idiap-ResNet-50, FaceNet-Sandberg—을 평가하였다.
• 특정 과제를 분리해내기 위해 실험 설계를 하였으며, 자세 변화(다중-PIE), 가림(AR), 조명(다중-PIE), 저해상도 이미징(GBU, SCface), 오픈세트 인식(IJB-C)을 대상으로 하였다.
• 모델 간 일관성 확보를 위해 모든 모델에 동일한 이미지 정렬 절차를 적용하였으며, ArcFace 및 AttentionNet 등의 모델에 대해 정렬 절차를 역공학적으로 분석하고 표준화하였다.
• 평가 지표로는 고정된 FMR(0.1%) 및 FPIR(0.1% 및 100%) 조건에서의 FNMR을 사용하여 제약 조건이 있는 상황과 현실적인 조건에서의 성능을 평가하였다.
• 모든 코드, 하이퍼파rameter, 실험 설정을 공개하여 완전한 재현 가능성과 확장 가능성을 확보하였다.

실험 결과

연구 질문

• RQ1 최근 8년간 딥 러닝 기반 모델들이 자세, 가림, 조명, 표정 등의 얼굴 인식 요소 중 어떤 것을 효과적으로 해결했는가?
• RQ2 최고 수준의 얼굴 인식 모델은 저해상도 이미지, 강한 자세 변화, 또는 오픈세트 식별 조건과 같은 극한 조건에서 어떻게 성능을 보이는가?
• RQ3 표준화된 오픈소스 평가 프레임워크를 사용해 현대의 얼굴 인식 시스템 성능을 어느 정도 재현하고 검증할 수 있는가?
• RQ4 ArcFace와 같은 특정 손실 함수가 다양한 도전 과제에 걸쳐 인식의 강건성을 향상시키는 데 어떤 역할을 하는가?

주요 결과

• ArcFace-100과 Zoo-AttentionNet은 AR 데이터셋에서 가림 조건에서 FMR 0.1%일 때 0%의 FNMR을 기록하여 이전 시스템에 비해 상당한 향상을 보였다.
• 모바일폰 데이터셋(MOBIO)에서의 얼굴 인식 성능이 크게 향상되었으며, 표정 변화에 대해 FNMR이 44%에서 0%로 감소하였다.
• ±60도 이내의 자세 변화는 잘 처리되었지만, 이 범위를 초과하면 성능이 급격히 악화되었으며, 특히 Multi-PIE 데이터셋에서 두드러졌다.
• 저해상도 및 저품질 프로브 이미지에서는 매우 높은 실패율이 발생했으며, ArcFace-100은 'far' 프로토콜 조건에서 SCface 데이터셋에서 FNMR이 69%에 이르렀다. 이는 주요 열린 과제임을 시사한다.
• 오픈세트 인식은 여전히 심각한 문제로 남아 있으며, IJB-C 데이터셋에서 FPIR=100%일 때 90%의 정확도에서 FPIR=0.1%일 때는 단지 35%로 떨어지며, 이상적인 조건과 실제 환경 간 격차를 드러낸다.
• 다른 성과에도 불구하고 재현 가능성 문제는 여전히 존재하며, ArcFace와 같은 핵심 모델의 사전 훈련된 가중치가 제거되거나 정렬 절차가 변경되어 일관성이 떨어지고 있다.