[논문 리뷰] Consistent Instance False Positive Improves Fairness in Face Recognition

Xingkun Xu, Yuge Huang외 6명|arXiv (Cornell University)|2021. 06. 10.

Face recognition and analysis참고 문헌 23인용 수 4

한 줄 요약

이 논문은 민족, 성별, 연령과 같은 다양한 특성에서 편향을 줄이고 공정성을 향상시키기 위해 민족적 정보가 없는 상태에서 일관되지 않은 인스턴스 단위의 거짓 양성률(FPR)을 보상하는 새로운 손실 함수를 제안한다. 소프트맥스 손실에 동적 보상 항을 도입하여 개별 샘플 간 FPR 일관성을 강제함으로써, RFW 및 BFW 벤치마크에서 최신 기술(SOTA) 수준의 공정성 성능을 달성한다.

ABSTRACT

Demographic bias is a significant challenge in practical face recognition systems. Existing methods heavily rely on accurate demographic annotations. However, such annotations are usually unavailable in real scenarios. Moreover, these methods are typically designed for a specific demographic group and are not general enough. In this paper, we propose a false positive rate penalty loss, which mitigates face recognition bias by increasing the consistency of instance False Positive Rate (FPR). Specifically, we first define the instance FPR as the ratio between the number of the non-target similarities above a unified threshold and the total number of the non-target similarities. The unified threshold is estimated for a given total FPR. Then, an additional penalty term, which is in proportion to the ratio of instance FPR overall FPR, is introduced into the denominator of the softmax-based loss. The larger the instance FPR, the larger the penalty. By such unequal penalties, the instance FPRs are supposed to be consistent. Compared with the previous debiasing methods, our method requires no demographic annotations. Thus, it can mitigate the bias among demographic groups divided by various attributes, and these attributes are not needed to be previously predefined during training. Extensive experimental results on popular benchmarks demonstrate the superiority of our method over state-of-the-art competitors. Code and trained models are available at https://github.com/Tencent/TFace.

연구 동기 및 목표

• 실제 환경에서는 흔히 확보되지 않는 민족적 정보에 의존하지 않고 얼굴 인식에서의 민족적 편향을 해결하는 것.
• 인스턴스 수준에서의 거짓 양성률(FPR) 일관성을 통해 인종, 성별, 연령 등 다양한 특성에서의 공정성을 향상시키는 것.
• 사전 정의된 민족 그룹이나 특정 특성에 국한되지 않는 일반화 가능한 편향 제거 방법을 개발하는 것.
• 표준 소프트맥스 기반 얼굴 인식 손실과 호환되는 즉시 적용 가능한 솔루션을 제공하여 재학습이나 아키텍처 변경 없이 공정성을 향상시키는 것.

제안 방법

• 논문은 인스턴스 FPR과 전체 FPR의 비율에 비례하는 보상 항을 포함하는 새로운 손실 함수를 제안한다.
• 인스턴스 FPR은 주어진 샘플에 대해 통일된 임계값을 초과하는 비대상 유사도 수를 총 비대상 유사도 수로 나눈 비율로 정의된다.
• 통일된 임계값은 전체 FPR을 목표로 설정하여 데이터셋 전체에서 일관성을 확보한다.
• 보상 항은 소프트맥스 기반 손실의 분모에 추가되어, 인스턴스 FPR이 높은 샘플일수록 손실이 증가하도록 하여 FPR 일관성을 장려한다.
• 표준 얼굴 인식 프레임워크를 사용해 엔드 투 엔드로 학습되며, 추가적인 감독 신호나 특성 레이블이 필요하지 않다.
• 이 방법은 인종에 국한되지 않고, 입력 데이터에 의해 정의된 어떤 특성 그룹에도 공정성 향상을 가능하게 한다.

실험 결과

연구 질문

• RQ1 민족적 정보가 없는 조건에서 인스턴스 수준의 FPR 일관성을 활용해 민족적 편향을 줄일 수 있는가?
• RQ2 개별 샘플에 대한 FPR 일관성 강제 조건이 그룹 수준의 공정성 제약 조건보다 편향 감소에 더 효과적인가?
• RQ3 불일치하는 FPR을 보상하는 손실 함수가 동시에 인종, 성별, 연령 등의 다수의 특성에서 공정성을 향상시킬 수 있는가?
• RQ4 이 방법은 표준 벤치마크에서 정확도를 유지하거나 향상시키면서 얼마나 공정성을 향상시킬 수 있는가?

주요 결과

• RFW 벤치마크에서 제안된 방법은 평균 정확도 96.56%와 표준편차 0.75를 기록하여, 평균 정확도와 공정성 모두에서 SOTA 기법을 능가했다.
• RFW에서 전체 FPR이 10^-5일 때 편향 정도를 257.53으로 낮춰 SOTA 기법인 RL-RBN(351.98)보다 유의미하게 낮추어 공정성 향상을 입증했다.
• BFW 벤치마크에서 전체 FPR이 10^-7일 때 편향 정도는 1.18로, SOTA 기법인 RL-RBN(2.44)보다 현저히 낮아, 인종 및 성별 편향 억제 효과를 입증했다.
• 모든 네 가지 인종 그룹(African, Asian, Caucasian, Indian)에서 동시에 정확도가 향상되었으며, SOTA 대비 평균 정확도 최대 0.77% 향상되었다.
• ResNet-100을 사용한 RFW에서 평균 정확도 97.45%와 표준편차 0.85를 기록하여 깊은 아키텍처에서도 뛰어난 성능을 보였다.
• RFW 및 BFW에서 모든 민족 그룹에 걸쳐 FPR과 TPR이 일관되게 향상되어, 다양한 특성에 대한 일반화 능력이 확인되었다.