[논문 리뷰] Demographic Bias in Presentation Attack Detection of Iris Recognition Systems

Meiling Fang, Naser Damer외 2명|arXiv (Cornell University)|2020. 03. 06.

Biometric Identification and Security참고 문헌 23인용 수 7

한 줄 요약

이 연구는 눈동자 인식 공격 탐지(PAD) 시스템에서 인구통계적 편향을 조사하며, 이전에 PAD 분야에 적용된 적이 없는 차등 성능과 차등 결과 개념을 처음으로 PAD에 적용한다. NDCLD-2013 데이터베이스를 사용하여 수작업 특징 추출(LBP), 전이학습 기반(MobileNetV3-Small), 그리고 초기 학습에서부터 학습하는(VGG-16) 방법을 적용한 결과, PAD 시스템이 여성에서 더 열악하게 작동하는 경향을 보였으며, LBP의 경우 여성에서 BPCER가 42.60%로 남성의 21.85%보다 높게 나타나 공격 탐지 정확도에서 성별 기반의 심각한 편향이 있음을 시사한다.

ABSTRACT

With the widespread use of biometric systems, the demographic bias problem raises more attention. Although many studies addressed bias issues in biometric verification, there are no works that analyze the bias in presentation attack detection (PAD) decisions. Hence, we investigate and analyze the demographic bias in iris PAD algorithms in this paper. To enable a clear discussion, we adapt the notions of differential performance and differential outcome to the PAD problem. We study the bias in iris PAD using three baselines (hand-crafted, transfer-learning, and training from scratch) using the NDCLD-2013 database. The experimental results point out that female users will be significantly less protected by the PAD, in comparison to males.

연구 동기 및 목표

• 생체인식 분야에서 이전에 탐색되지 않은 분야인 눈동자 PAD 시스템에서의 인구통계적 편향을 조사하기 위해.
• 검증 전용 편향 개념인 차등 성능와 차등 결과를 PAD 맥락에 적응시켜 체계적인 분석을 수행하기 위해.
• 학습 데이터 편향이 남성 및 여성 인구군에 걸쳐 PAD 성능에 미치는 영향을 평가하기 위해.
• 여러 알고리즘적 접근 방식을 통해 PAD 정확도에서 성별 격차가 어떻게 발생하는지 규명하기 위해.
• 특히 다양한 학습 데이터 조건에서 남성과 여성 간 보호 수준의 불균형을 경험적 증거로 제시하기 위해.

제안 방법

• 생체인식 검증에서 유래한 용어인 '차등 성능'과 '차등 결과'를 적응하여 PAD 편향을 분석하고, 공격 및 정상 제출 분류 오류율에 중점을 두었다.
• 세 가지 PAD 기반 모델을 평가: 수작업 특징 추출 기반 LBP, 전이학습 기반 MobileNetV3-Small, 그리고 NDCLD-2013 데이터베이스에서 초기 학습부터 학습한 VGG-16.
• 두 가지 실험 설정을 수행: 혼합 성별 학습 데이터를 사용하는 경우와 성별 독립 학습 데이터(남성 전용 또는 여성 전용)를 사용하는 경우.
• 핵심 평가 지표로 APCER(공격 제출 분류 오류율)와 BPCER(정상 제출 분류 오류율)를 사용하였으며, 임계값 설정은 개발 세트에서 고정 APCER 기반으로 수행하였다.
• 전체 PAD 성능 평가를 위해 HTER(반분총오류율)를 측정하였다.
• 다양한 학습 및 테스트 구성 조건에서 남성 및 여성 대상자의 오류율을 비교하여 성능 격차를 분석하였다.

실험 결과

연구 질문

• RQ1 눈동자 제출 공격 탐지 시스템에서 성별 간 차등 성능의 편향이 존재하는가, 특히 남성과 여성 대상자 간의 성능 격차 측면에서?
• RQ2 학습 데이터 구성(혼합 대상 vs. 단일 성별)이 PAD 알고리즘의 공정성에 어떤 영향을 미치는가?
• RQ3 어떤 PAD 알고리즘이 여성 대상자의 공격 탐지에서 성별 기반 편향에 더 취약한가?
• RQ4 여러 PAD 기반 모델을 통해 남성과 여성 대상자 간 APCER, BPCER, HTER 오류율이 얼마나 다를까?
• RQ5 관찰된 편향은 학습 세트 내 여성 샘플의 부족 또는 불균형으로 인한 것인가?

주요 결과

• LBP 방법은 여성에서 BPCER가 42.60%로 남성의 21.85%보다 유의미하게 높게 나타나 여성에서의 탐지 정확도가 열 劣함을 시사한다.
• 혼합 데이터로 학습한 MobileNetV3-Small는 여성에서 APCER가 9.23%로 남성의 8.11%보다 높게 나타나 여성에서의 공격 탐지 능력이 떨어짐을 나타낸다.
• 여성 데이터로만 학습한 VGG-16는 여성에서 BPCER가 0%를 기록했지만, 남성 공격 샘플의 100%를 정상 제출로 잘못 분류하여 심각한 일반화 실패를 보였다.
• 성별 독립 학습 조건에서 LBP의 HTER는 여성에서 30.36%로 남성의 23.29%보다 높게 나타나 여성에서의 전반적 성능이 열 劣함을 확인하였다.
• 정상 제출 샘플 수가 동일한 조건에서도 LBP의 여성 HTER(25.53%)는 남성의 HTER(21.85%)를 초과하여 여성 공격를 분류하는 데서 내재된 어려움을 시사한다.
• 여성 데이터로 학습한 VGG-16 모델은 혼합 테스트 데이터에서 HTER가 50.00%로 나타났지만, 남성 데이터로 학습한 동일한 모델은 HTER가 9.19%에 불과하여 일반화에서 강한 성별 편향을 보였다.