[논문 리뷰] Unsupervised Enhancement of Soft-biometric Privacy with Negative Face Recognition

Philipp Terhörst, Marco Huber외 3명|arXiv (Cornell University)|2020. 02. 21.

Biometric Identification and Security참고 문헌 35인용 수 18

한 줄 요약

이 논문은 부정적 얼굴 특징 템플릿을 저장함으로써 소프트-바이오메트릭 개인정보를 향상시키는 비지도 학습 방법인 부정적 얼굴 인식(NFR)을 제안한다. 실제 얼굴 템플릿 대신 부정적이고 상보적인 얼굴 특징 템플릿을 저장함으로써, 탐지 템플릿을 이러한 부정적 기반과 비교함으로써 성별, 연령, 인종과 같은 개인정보 감지 특성의 유출을 억제한다. 비통제 조건에서 최대 36%의 억제를 달성하면서도 전체 인식 성능 유지를 유지하며, 이전의 지도 학습 방법보다 개인정보 보호 및 정확도 측면에서 모두 뛰어나다.

ABSTRACT

Current research on soft-biometrics showed that privacy-sensitive information can be deduced from biometric templates of an individual. Since for many applications, these templates are expected to be used for recognition purposes only, this raises major privacy issues. Previous works focused on supervised privacy-enhancing solutions that require privacy-sensitive information about individuals and limit their application to the suppression of single and pre-defined attributes. Consequently, they do not take into account attributes that are not considered in the training. In this work, we present Negative Face Recognition (NFR), a novel face recognition approach that enhances the soft-biometric privacy on the template-level by representing face templates in a complementary (negative) domain. While ordinary templates characterize facial properties of an individual, negative templates describe facial properties that does not exist for this individual. This suppresses privacy-sensitive information from stored templates. Experiments are conducted on two publicly available datasets captured under controlled and uncontrolled scenarios on three privacy-sensitive attributes. The experiments demonstrate that our proposed approach reaches higher suppression rates than previous work, while maintaining higher recognition performances as well. Unlike previous works, our approach does not require privacy-sensitive labels and offers a more comprehensive privacy-protection not limited to pre-defined attributes.

연구 동기 및 목표

• 성별, 연령, 민족과 같은 소프트-바이오메트릭 특성을 드러내는 생체인식 템플릿으로 인한 개인정보 泄露 문제를 해결하기 위해.
• 사전에 정의된 특성에 국한되며 개인정보 레이블이 있는 학습 데이터가 필요한 지도 학습 방법의 한계를 극복하기 위해.
• 적응형 功能 확장 공격에 저항할 수 있는 개인정보 보호 기능을 갖춘 얼굴 인식 시스템을 설계하기 위해.
• 의도하지 않은 특성 추론을 억제하면서도 높은 얼굴 인식 성능을 유지하기 위해.
• 역전환 불가능하고 재발급 가능하며 링크 불가능하도록 설계된 템플릿 수준의 비지도 학습 솔루션을 제공하기 위해.

제안 방법

• 이 방법은 깊이 학습 특징의 k-means 군집화 기반 이진화 전략을 사용하여 개인의 존재하지 않는 얼굴 특징을 나타내는 부정적 얼굴 템플릿을 도입한다.
• 학습된 양자화 함수를 사용하여 얼굴 템플릿을 이진 코드로 인코딩하며, 억제 성능과 성능 균형을 고려해 k=3 또는 k=4의 박스를 사용한다.
• 양성 탐지 템플릿을 부정적 기반 템플릿과 비교하여 인식을 수행하며, 신뢰성 확보를 위해 이론적 점수 분포 모델을 활용한다.
• 부정-양성 비교 공간 내에서 기대 점수 분포를 모델링하는 이론적 프레임워크를 구축하였으며, 두 데이터셋에서 실증적으로 검증하였다.
• 이 방법은 상보적 표현 방식을 사용한다: 양성 템플릿은 실제 얼굴 특성을 기술하는 반면, 부정적 템플릿은 존재하지 않는 무작위 상보적 특성만 인코딩한다.
• 이 시스템은 개인정보 감지 레이블이 전혀 필요 없이 학습되기 때문에 비지도 학습이며, 사전 정의된 특성 외의 새로운 특성에도 확장 가능하다.

실험 결과

연구 질문

• RQ1 비지도 학습 방법이 개인정보 감지 데이터 레이블 없이도 얼굴 템플릿에서 개인정보 감지 특성을 억제할 수 있는가?
• RQ2 비통제 조건에서 부정적 얼굴 인식이 성별, 연령, 인종 특성을 얼마나 효과적으로 억제하는가?
• RQ3 강력한 특성 억제를 달성하면서도 높은 얼굴 인식 정확도를 유지할 수 있는가?
• RQ4 개념 기반 기능 확장 공격자(공격자가 보안 메커니즘을 알고 있음)에 대해 이 시스템은 어떻게 작동하는가?
• RQ5 템플릿 박스 크기(k)와 인식 성능 및 특성 억제 간의 이론적 및 실증적 관계는 어떠한가?

주요 결과

• 제안된 NFR 방법은 비통제 조건에서 개인정보 감지 특성의 최대 36%를 억제하며, 이는 이전의 지도 학습 방법보다 뚜렷이 뛰어나다.
• 비통제 조건에서 NFR는 전체 인식 성능(100% 검증 정확도)을 유지하면서도 이전 방법보다 더 효과적으로 특성을 억제한다.
• 공격자가 시스템에 적응하더라도, 다양한 특성과 공격 모델에서 이전 연구 대비 2~4배 높은 억제율을 달성한다.
• 이론적 점수 예측 모델이 ColorFeret 및 Adience 데이터셋에서 실증 점수 분포와 밀도적으로 일치함을 확인하여, 방법의 이론적 기반을 검증하였다.
• 최적의 박스 크기는 k=3이며, 높은 특성 억제와 낮은 검증 오류를 균형 있게 유지한다. k=4는 변동성이 더 크고 성능 저하가 발생한다.
• 이 방법은 비지도 학습이며 개인정보 레이블이 필요 없어, 사전 정의된 특성 외의 포괄적 보호를 가능하게 한다.