[논문 리뷰] Facial Expressions as a Vulnerability in Face Recognition

Alejandro Peña, Ignacio Serna외 3명|arXiv (Cornell University)|2020. 11. 17.

Face recognition and analysis참고 문헌 66인용 수 5

한 줄 요약

이 논문은 최신 얼굴 인식 시스템에서 얼굴 표정 편향이 심각한 취약점임을 규명하며, 분노, 혐오, 놀라움 등의 표정 변화가 진짜 매칭 점수에서 최대 40%의 성능 저하를 유발함을 입증한다. 세 개의 딥러닝 모델과 세 개의 공개 데이터베이스를 사용하여 연구는 훈련 데이터에서 체계적인 표정 불균형을 드러내며, VGG-16과 같은 모델이 강한 자기 학습된 정서 반응을 보여 인식 신뢰도를 떨어뜨리고, 표정 조작을 통한 신원 은폐를 가능하게 한다.

ABSTRACT

This work explores facial expression bias as a security vulnerability of face recognition systems. Despite the great performance achieved by state-of-the-art face recognition systems, the algorithms are still sensitive to a large range of covariates. We present a comprehensive analysis of how facial expression bias impacts the performance of face recognition technologies. Our study analyzes: i) facial expression biases in the most popular face recognition databases; and ii) the impact of facial expression in face recognition performances. Our experimental framework includes two face detectors, three face recognition models, and three different databases. Our results demonstrate a huge facial expression bias in the most widely used databases, as well as a related impact of face expression in the performance of state-of-the-art algorithms. This work opens the door to new research lines focused on mitigating the observed vulnerability.

연구 동기 및 목표

• 널리 사용되는 얼굴 인식 데이터베이스에서 표정 편향의 정도를 조사하기 위해.
• 표정 변화가 최신 얼굴 인식 모델의 성능에 미치는 영향을 분석하기 위해.
• 진짜 매칭 상황에서 표정 유도 점수 변동의 보안적 영향을 평가하기 위해.
• 표정 조작을 통한 신원 은폐의 잠재적 가능성을 새로운 공격 벡터로 식별하기 위해.
• 향후 데이터베이스와 모델에서 편향 완화를 촉구하여 내구성과 공정성을 향상시키기 위해.

제안 방법

• 기본 특징 추출 파이프라인을 사용하여 사전 훈련된 얼굴 인식 모델 세 개(예: VGG-16, ResNet-50, LResNet-100E-IR)를 평가하였다.
• ResNet-50의 깊이 있는 특징 임bedding 간의 L2 거리로 매칭 점수를 계산하였으며, 50층 네트워크 출력에서 유클리드 거리로 계산하였다.
• MTCNN와 RetinaFace를 사용하여 모든 데이터셋 간 일관된 입력 전처리를 확보하였다.
• MS-Celeb-1M, MegaFace, CelebA, VGGFace2를 포함한 주요 데이터베이스에서 여섯 가지 기본 감정(행복, 슬픔, 분노, 놀라움, 혐오, 두려움)의 분포를 정량화하여 표정 편향을 분석하였다.
• CFEE와 CK+ 데이터셋에서 350명의 신원과 16,000장의 이미지를 대상으로 제어 실험을 수행하여 다양한 표정 간 진짜 매칭 점수를 비교하였다.
• 15,000장의 CelebA 이미지를 배경 데이터셋으로 사용하여 랭크-1 신원 식별 실험을 수행하여 표정에 따른 성능 변동을 평가하였다.

실험 결과

연구 질문

• RQ1 널리 사용되는 얼굴 인식 데이터베이스의 훈련 데이터에서 얼굴 표정 편향이 어느 정도 나타나는가?
• RQ2 표정 변화가 최신 얼굴 인식 모델의 진짜 매칭 점수 분포에 어떤 영향을 미치는가?
• RQ3 표정 조작을 통해 신원을 은폐할 수 있으며, 이는 위조자 탐지 시스템을 회피할 수 있는가?
• RQ4 실제 신원 식별 상황에서 다양한 표정 간 성능 저하의 크기는 어느 정도인가?
• RQ5 VGG-16, ResNet-50, LResNet-100E-IR 등의 다양한 얼굴 인식 모델은 매칭 점수의 표정 유도 변화에 어떻게 반응하는가?

주요 결과

• 가장 널리 사용되는 얼굴 인식 데이터베이스, 특히 MS-Celeb-1M과 VGGFace2는 막대한 표정 불균형을 보이며, 중립 표정이 지배적(60–85%)이고, 혐오나 두려움과 같은 표정은 극히 부족하게 나타난다(<1%).
• 표정 편향으로 인해 다양한 표정 간 진짜 매칭 점수에서 최대 40%의 변동이 발생하며, VGG-16 모델이 가장 높은 취약성을 보였다.
• 항상 혐오 표정이 가장 열악한 식별 성능을 보였으며, VGG-16과 ResNet-50에서 중립 또는 행복 표정과 비교해 랭크-1 점수가 최대 50% 하락하였다.
• 높은 성능을 보이는 모델인 LResNet-100E-IR 역시 표정 간에 유의미한 성능 저하(0–1%)를 보였으며, 이는 고도화된 아키텍처에서도 편향이 여전히 존재함을 시사한다.
• 위조자 점수 분포는 표정에 크게 영향을 받지 않아, 표정 변경을 통한 위조 공격는 불가능하지만, 신원 은폐가 실질적인 위협임을 확인하였다.
• 연구는 편향된 데이터로 훈련된 모델이 스스로 정서 반응을 학습하여 다양한 표정 간에 일관되지 않은 행동을 보이며, 이는 시스템의 신뢰성과 보안을 약화시킴을 확인하였다.