[논문 리뷰] Stating Comparison Score Uncertainty and Verification Decision Confidence Towards Transparent Face Recognition

Marco Huber, Philipp Terhörst외 3명|arXiv (Cornell University)|2022. 10. 19.

Face recognition and analysis인용 수 7

한 줄 요약

이 논문은 신뢰성 있는 생체인식 검증을 위해 얼굴 인식에서 비교 점수의 불확실성과 결정 신뢰도를 추정함으로써 투명성과 신뢰도를 향상시키는 방법을 제안한다. 몬테카를로 드롭아웃을 활용해 모델의 불확실성을 점수로 전파하고, 점수 불확실성 기반의 신뢰도 측정법을 도입함으로써, 특히 XQLFW와 같은 도전적인 데이터셋에서 결정의 신뢰성을 향상시킨다. 이는 단지 점수-임계값 거리에 기반한 직관적 신뢰도보다도 우월하다.

ABSTRACT

Face Recognition (FR) is increasingly used in critical verification decisions and thus, there is a need for assessing the trustworthiness of such decisions. The confidence of a decision is often based on the overall performance of the model or on the image quality. We propose to propagate model uncertainties to scores and decisions in an effort to increase the transparency of verification decisions. This work presents two contributions. First, we propose an approach to estimate the uncertainty of face comparison scores. Second, we introduce a confidence measure of the system's decision to provide insights into the verification decision. The suitability of the comparison scores uncertainties and the verification decision confidences have been experimentally proven on three face recognition models on two datasets.

연구 동기 및 목표

• 법집행 및 접근 제어와 같은 고위험 응용 분야에서 얼굴 인식 결정의 투명성 부족 문제를 해결하기 위해.
• 점수-임계값 거리에 기반한 직관적 신뢰도를 넘어서 비교 점수의 불확실성을 추정하기 위해.
• 점수 불확실성을 통합한 결정 신뢰도 측정법을 도입하여 더 신뢰할 수 있는 검증 결과를 얻기 위해.
• 다양한 얼굴 인식 모델과 데이터셋에서 제안된 불확실성 및 신뢰도 측정법을 평가하여 실용적 유용성을 입증하기 위해.
• 투명하지 못한 결정의 윤리적 및 운영적 위험을 부각하고 생체인식 시스템에서의 투명성 강화를 주장하기 위해.

제안 방법

• 추론 중에 몬테카를로 드롭아웃을 사용해 모델 불확실성을 근사하고, 이를 얼굴 비교 점수로 전파한다.
• 드롭아웃 기능을 활성화한 다중 전방 전파 동안의 예측 분산으로 점수 불확실성을 추정한다.
• 의사결정 신뢰도를 비교 점수와 그 추정 불확실성의 함수로 정의하며, 학습 가능한 스케일링 파라미터 α를 포함한다.
• 실제 운영 조건을 고려해 운영 지점(FMR@0.001 등)을 사용하여 신뢰도 측정법을 校정한다.
• 등가 순위 곡선(ERC)과 히트맵 시각화를 통해 제안된 불확실성 및 신뢰도 측정법을 직관적 신뢰도와 비교 평가한다.
• 세 가지 최첨단 얼굴 인식 모델(ArcFace, MagFace, CurricularFace)을 두 가지 데이터셋(Adience, XQLFW)에 적용한다.

실험 결과

연구 질문

• RQ1 모델 불확실성이 비교 점수로 효과적으로 전파되어 신뢰도를 평가할 수 있는가?
• RQ2 점수 불확실성 기반의 제안된 의사결정 신뢰도 측정법은 점수-임계값 거리에 기반한 직관적 신뢰도와 비교해 어떻게 성능을 발휘하는가?
• RQ3 점수 불확실성을 통합함으로써, 특히 크로스 품질 이미지 쌍과 같은 도전적인 상황에서 검증 결정의 신뢰성이 향상되는가?
• RQ4 고불확실성 비교를 필터링할 경우, 제안된 불확실성 추정이 오류율을 얼마나 줄이는가?
• RQ5 제안된 신뢰도 측정법은 실생활 생체인식 시스템에서 신뢰할 수 없는 결정을 더 잘 식별할 수 있는가?

주요 결과

• 제안된 점수 불확실성 추정법은 신뢰할 수 없는 비교를 효과적으로 식별하며, 등가 순위 곡선(ERC)을 통해 고불확실성 쌍을 필터링했을 때 오류율이著명하게 감소함을 보여준다.
• XQLFW 데이터셋에서 제안된 의사결정 신뢰도는 직관적 신뢰도를 뛰어넘는 성능을 보였으며, 특히 고품질 및 저품질 이미지 쌍 모두에서 불확실성을 고려한 덕분이었다.
• 히트맵 시각화 결과, 제안된 신뢰도 측정법은 유사도와 불확실성을 모두 고려함으로써 더 세밀하고 자연스러운 신뢰도 해석을 제공하는 것으로 나타났다. 반면 직관적 방법은 점수와 임계값 거리에만 의존한다.
• 특히 낮은 가짜 매칭률(FMR@0.001)에서 결정 신뢰도가 향상되었으며, 더 도전적인 XQLFW 데이터셋에서 가장 뛰어난 성능을 기록했다.
• 신뢰도 측정법은 임계값에 의존적이었고, α 파라미터를 통해 校정이 가능하여 운영 환경에서의 유연성을 확보했다.
• 결과적으로 불확실성 인식 얼굴 인식 기법이 투명성을 향상시키고, 중요한 응용 분야에서 윤리적으로 문제를 일으킬 수 있는 결정의 위험을 줄임을 입증했다.