[논문 리뷰] Reliable Probabilistic Face Embeddings in the Wild.

Kai Chen, Qi Lv외 2명|arXiv (Cornell University)|2021. 02. 08.

Face recognition and analysis참고 문헌 33인용 수 5

한 줄 요약

이 논문은 비정상적인 얼굴 인식 환경에서 불확실성 추정의 견고성과 매칭 속도를 향상시키는 정규화된 확률적 얼굴 임베딩 방법인 ProbFace를 제안한다. 상호 가능성 점수(MLS)를 단순화하고, 과신을 줄이기 위해 출력 제약 손실을 도입하며, 특징 융합 및 구분 능력을 향상시킴으로써 ProbFace는 8개의 벤치마크에서 최신 기술 수준의 성능을 달성하며 추론 속도도 빠르고 위험 제어 인식 성능도 뛰어나다.

ABSTRACT

Probabilistic Face Embeddings (PFE) can improve face recognition performance in unconstrained scenarios by integrating data uncertainty into the feature representation. However, existing PFE methods tend to be over-confident in estimating uncertainty and is too slow to apply to large-scale face matching. This paper proposes a regularized probabilistic face embedding method to improve the robustness and speed of PFE. Specifically, the mutual likelihood score (MLS) metric used in PFE is simplified to speedup the matching of face feature pairs. Then, an output-constraint loss is proposed to penalize the variance of the uncertainty output, which can regularize the output of the neural network. In addition, an identification preserving loss is proposed to improve the discriminative of the MLS metric, and a multi-layer feature fusion module is proposed to improve the neural network's uncertainty estimation ability. Comprehensive experiments show that the proposed method can achieve comparable or better results in 8 benchmarks than the state-of-the-art methods, and can improve the performance of risk-controlled face recognition. The code of ProbFace is publicly available in GitHub (this https URL).

연구 동기 및 목표

• 실세계 얼굴 인식에서 신뢰할 수 없는 불확실성 추정을 초래하는 기존 확률적 얼굴 임베딩(PFE) 방법의 과신 문제를 해결한다.
• 상호 가능성 점수(MLS) 지표를 단순화하여 PFE의 추론 속도를 향상시켜 더 빠른 얼굴 쌍 매칭을 실현한다.
• 식별 보존 손실을 통해 MLS 지표의 구분 능력을 향상시켜 인식 정확도를 향상시킨다.
• 다층 특징 융합 모듈을 도입하여 더 rich한 표현을 캐치함으로써 불확실성 추정을 강화한다.
• 신경망 출력을 정규화하여 불확실성 예측의 분산을 줄여 분포 이탈 상황에서도 신뢰성을 향상시킨다.

제안 방법

• 상호 가능성 점수(MLS) 지표를 단순화하여 계산 복잡도를 낮추고 얼굴 특징 쌍 매칭 속도를 향상시킨다.
• 예측된 불확실성의 분산이 높은 것을 방지하는 출력 제약 손실을 도입하여 불확실성 추정의 과신을 줄인다.
• MLS 지표의 구분 능력을 향상시키기 위해 식별 보존 손실을 제안하여 인식 성능을 향상시킨다.
• 다양한 네트워크 레이어의 표현을 융합하는 다층 특징 융합 모듈을 설계하여 불확실성 추정을 향상시킨다.
• 정확도와 불확실성 校정을 균형 있게 유지하기 위해 분류, 식별 보존, 출력 제약 손실의 조합으로 모델을 종합적으로 훈련시킨다.
• 일원화된 프레임워크 내에서 임베딩 특징과 그에 해당하는 불확실성 분산을 예측하기 위해 확률적 출력 헤드를 사용한다.

실험 결과

연구 질문

• RQ1 상호 가능성 점수(MLS) 지표를 단순화함으로써 성능 저하 없이 추론 시간을 크게 줄일 수 있는가?
• RQ2 출력 제약 손실을 통해 불확실성 분산을 정규화하면 비정상적인 얼굴 인식 환경에서 불확실성 추정의 신뢰성이 향상되는가?
• RQ3 식별 보존 손실이 MLS 지표의 구분 능력에 얼마나 기여하는가?
• RQ4 다층 특징 융합은 딥 네트워크의 불확실성 추정 능력 향상에 얼마나 효과적인가?
• RQ5 제안된 방법은 다양한 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 위험 제어 인식 설정에서도 견고성을 유지도할 수 있는가?

주요 결과

• ProbFace는 MS-Celeb-1M, VGGFace2, IJB-C를 포함한 8개의 다양한 벤치마크에서 최신 기술 수준의 방법들과 비교해 유사하거나 더 우수한 성능을 달성한다.
• 단순화된 MLS 지표로 인해 추론 시간이 크게 단축되어 대규모 응용 프로그램에서 더 빠른 얼굴 매칭이 가능해졌다.
• 출력 제약 손실은 불확실성 예측의 과신을 효과적으로 줄여 보정 및 신뢰성 향상에 기여한다.
• 식별 보존 손실은 MLS 지표의 구분 능력을 향상시켜 인식 정확도 향상에 기여한다.
• 다층 특징 융합 모듈은 계층적 표현을 활용하여 더 정확한 불확실성 추정을 가능하게 하였다.
• ProbFace는 불확실성 인식 의사결정이 핵심적인 위험 제어 얼굴 인식 환경에서 뛰어난 성능을 보였다.