[논문 리뷰] Fast and Reliable Probabilistic Face Embeddings in the Wild

Kai Chen, Qi Lv외 1명|arXiv (Cornell University)|2021. 02. 08.

Face recognition and analysis참고 문헌 69인용 수 6

한 줄 요약

이 논문은 비제약 조건 얼굴 인식 환경에서 불확실성 추정과 매칭 속도를 향상시켜 빠르고 신뢰할 수 있는 확률적 얼굴 임베딩 방법인 ProbFace를 제안한다. 상호 가능도 점수를 불확실성 보정 코사인 거리로 단순화하고, 분산 정규화를 적용하며, 신원 유지 손실을 사용한 다층 특징 융합을 통해 ProbFace는 9개 벤치마크에서 최신 기술 수준 성능을 달성하고, 노이즈, 큰 자세, 분포 외 조건에서 위험 통제된 얼굴 인식을 향상시킨다.

ABSTRACT

Probabilistic Face Embeddings (PFE) can improve face recognition performance in unconstrained scenarios by integrating data uncertainty into the feature representation. However, existing PFE methods tend to be over-confident in estimating uncertainty and is too slow to apply to large-scale face matching. This paper proposes a regularized probabilistic face embedding method to improve the robustness and speed of PFE. Specifically, the mutual likelihood score (MLS) metric used in PFE is simplified to speedup the matching of face feature pairs. Then, an output-constraint loss is proposed to penalize the variance of the uncertainty output, which can regularize the output of the neural network. In addition, an identification preserving loss is proposed to improve the discriminative of the MLS metric, and a multi-layer feature fusion module is proposed to improve the neural network's uncertainty estimation ability. Comprehensive experiments show that the proposed method can achieve comparable or better results in 9 benchmarks than the state-of-the-art methods, and can improve the performance of risk-controlled face recognition. The code of our work is publicly available in GitHub (https://github.com/KaenChan/ProbFace).

연구 동기 및 목표

• 비제약 조건 환경에서 기존 확률적 얼굴 임베딩(PFE) 방법의 과도한 확신과 높은 계산 비용 문제를 해결하기 위해.
• 상호 가능도 점수(MLS) 메트릭을 단순화하여 대규모 얼굴 매칭의 강건성과 속도를 향상시키기 위해.
• 불확실성 추정에서 과적합을 줄이기 위해 분산 정규화 항을 도입하기 위해.
• 양성 및 음성 쌍을 모두 활용하는 불확실성 인식 식별 손실을 통해 MLS 메트릭의 구분 능력을 향상시키기 위해.
• 저수준 및 고수준 표현의 다층 특징 융합을 통해 불확실성 추정 능력을 향상시키기 위해.

제안 방법

• MLS 메트릭을 불확실성 기반 코사인 유사도 조정으로 단순화하여, 얼굴 쌍 매칭 속도를 향상시킨다.
• 불확실성 출력의 높은 분산을 방지하기 위해 출력 제약 손실을 도입하여 과도한 확신과 과적합을 방지한다.
• 양성 및 음성 쌍을 동시에 최적화하여 MLS 메트릭의 구분 능력을 향상시키는 신원 유지 손실을 제안한다.
• 다양한 네트워크 깊이의 특징을 융합하는 다층 특징 융합 모듈을 사용하여 불확실성 추정 능력을 향상시킨다.
• −σ²의 기울기를 사용한 수정된 Grad-CAM 접근 방식을 통해 입력 얼굴 이미지에서 불확실성을 줄이는 영역을 시각화한다.
• 대비 손실과 불확실성 인식 손실의 조합을 사용해 엔드 투 엔드로 모델을 훈련시켜 특징 표현과 불확실성 추정을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 상호 가능도 점수(MLS) 메트릭을 단순화하여 성능 손실 없이 얼굴 매칭 속도를 높일 수 있는가?
• RQ2 확률적 얼굴 임베딩에서 과도한 확신과 과적합을 방지하기 위해 불확실성 추정을 어떻게 정규화할 수 있는가?
• RQ3 훈련 중 음성 샘플 쌍을 통합함으로써 MLS 메트릭의 구분 능력을 향상시킬 수 있는가?
• RQ4 다중 척도 특징 융합가 깊은 얼굴 네트워크에서 불확실성 추정 능력을 얼마나 향상시키는가?
• RQ5 노이즈, 큰 자세, 분포 외 조건에서 제안된 방법이 위험 통제된 얼굴 인식 설정에서 어떻게 성능을 발휘하는가?

주요 결과

• ProbFace는 LFW, CFP-FP, AgeDB30를 포함한 9개 벤치마크에서 최신 기술 수준의 방법들과 비교해 유사하거나 더 뛰어난 성능을 달성한다.
• 20% 노이즈 비율이 있는 노이즈 데이터에서 ProbFace는 PFE 및 베이스라인 모델보다 가장 뚜렷한 정확도 향상을 보이며 성능이 두드러지게 향상된다.
• 큰 자세가 있는 CFP-FP 및 Vgg2FP 데이터셋에서 ProbFace는 최고의 정확도-기각 성능를 기록하여 고난이도 상황에서 강력한 강건성을 입증한다.
• 정확도-기각 곡선을 통해 ProbFace는 높은 기각률에서도 높은 정확도를 유지함으로써 위험 통제된 인식에서의 효과성을 입증한다.
• Grad-CAM 시각화 결과는 고품질 얼굴은 얼굴 영역에 집중된 주의를 보이고, 저품질 얼굴은 산산이 흩어진 활성화를 보이며 효과적인 불확실성 국소화를 확인한다.
• 절단 실험을 통해 분산 정규화, 식별 손실, 다층 융합 각각의 구성 요소가 성능 향상에 기여하고 있음을 확인한다.