[논문 리뷰] PrivacyProber: Assessment and Detection of Soft-Biometric Privacy-Enhancing Techniques

Peter Rot, Peter Peer외 1명|arXiv (Cornell University)|2022. 11. 16.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 개인정보 향상된 얼굴 이미지에서 억압된 소프트 생체정보 특성(예: 성별, 연령, 민족)을 복원하는 프레임워크인 PrivacyProber를 소개한다. 이는 최첨단 개인정보 보호 기법이 특성 복원 공격에 취약함을 입증한다. 또한, 재학습이 필요 없고 일반화 능력이 뛰어난 탐지기인 APEND를 제안하여 개인정보 향상된 이미지를 높은 정확도로 식별함으로써 생체정보 보안 시스템에서의 핵심 위협 요소를 드러낸다.

ABSTRACT

Soft-biometric privacy-enhancing techniques represent machine learning methods that aim to: (i) mitigate privacy concerns associated with face recognition technology by suppressing selected soft-biometric attributes in facial images (e.g., gender, age, ethnicity) and (ii) make unsolicited extraction of sensitive personal information infeasible. Because such techniques are increasingly used in real-world applications, it is imperative to understand to what extent the privacy enhancement can be inverted and how much attribute information can be recovered from privacy-enhanced images. While these aspects are critical, they have not been investigated in the literature. We, therefore, study the robustness of several state-of-the-art soft-biometric privacy-enhancing techniques to attribute recovery attempts. We propose PrivacyProber, a high-level framework for restoring soft-biometric information from privacy-enhanced facial images, and apply it for attribute recovery in comprehensive experiments on three public face datasets, i.e., LFW, MUCT and Adience. Our experiments show that the proposed framework is able to restore a considerable amount of suppressed information, regardless of the privacy-enhancing technique used, but also that there are significant differences between the considered privacy models. These results point to the need for novel mechanisms that can improve the robustness of existing privacy-enhancing techniques and secure them against potential adversaries trying to restore suppressed information.

연구 동기 및 목표

• 소프트 생체정보 개인정보 보호 기법의 특성 복원 공격에 대한 내성에 대한 평가.
• 개인정보 향상된 얼굴 이미지가 성별, 연령, 민족과 같은 억압된 특성을 복원할 수 있는지 여부의 탐구.
• 다양한 데이터셋과 기법에 걸쳐 개인정보 향상된 이미지를 식별할 수 있는 일반 목적의 재학습이 없는 탐지 방법 개발.
• 공격자에 의한 특성 복원 공격에 대한 개인정보 모델의 실제 세계적 신뢰성 평가. 이는 영향력 없는 평가를 넘어서는 것이다.

제안 방법

• 딥 러닝 기반 특성 복원 모델을 사용해 개인정보 향상된 얼굴 이미지에서 소프트 생체정보 특성을 복원하는 프레임워크인 PrivacyProber를 제안.
• 원본 이미지에서 학습된 다수의 특성 분류기(예: 성별, 연령, 민족)를 활용해 개인정보 향상된 입력에서 억압된 특성을 추론.
• 재학습이 필요 없이 복원된 이미지의 예측과 원본 입력의 예측을 비교하여 개인정보 향상 여부를 탐지하는 APEND라는 탐지 방법을 도입.
• 다양한 복원 시도에서의 증거 집합을 통해 탐지 정확도를 향상시켜, 특히 신호가 약하거나 아티팩트가 많은 경우의 내성 향상.
• 일반화를 확보하기 위해 블랙박스 가정 하에 LFW, MUCT, Adience 세 개의 공개 데이터셋에 프레임워크를 적용.
• 탐지에서 거짓 경고와 거짓 부정의 균형을 맞추기 위해 등오차율(EER) 기반의 임계값 결정 규칙을 사용.

실험 결과

연구 질문

• RQ1 최첨단 개인정보 보호 기법을 사용할 때 개인정보 향상된 얼굴 이미지에서 소프트 생체정보 특성을 얼마나 복원할 수 있는가?
• RQ2 어떤 개인정보 보호 모델(예: 적대적 편향, 생성 모델)을 사용할 때 특성 복원 성능이 어떻게 달라지는가?
• RQ3 기본 개인정보 보호 기법이나 데이터 분포에 관계없이 개인정보 향상된 이미지를 식별할 수 있는 재학습이 없는 일반 목적의 탐지 방법을 개발할 수 있는가?
• RQ4 이미지 품질과 아티팩트가 개인정보 탐지 및 특성 복원의 신뢰성에 어떤 영향을 미치는가?
• RQ5 다양한 개인정보 모델 간에 시각적 영향과 잔류 정보 유출 측면에서 어떤 차이가 있는가?

주요 결과

• PrivacyProber는 테스트된 모든 개인정보 보호 기법에서 억압된 소프트 생체정보 특성의 상당 부분을 성공적으로 복원하여, 현재 기법들이 표적 공격에 취약하다는 것을 시사한다.
• FlowSAN–3 및 FlowSAN–5와 같은 생성 모델은 k–AAP 및 FGSM과 같은 적대적 방법보다 특성 복원에 대해 훨씬 더 높은 내성을 보였다.
• APEND는 데이터셋 평균 AUC가 0.940을 기록했으며, k–AAP를 사용한 Adience 데이터셋에서 PREM보다 23% 이상 높은 성능을 보여, 증거 집합의 효과를 입증했다.
• APEND는 블랙박스 가정 하에서도 높은 정확도로 개인정보 향상 여부를 탐지했으며, 다양한 데이터 특성과 개인정보 모델에 걸쳐 잘 일반화되었다.
• APEND의 실패 사례는 주로 이미지 아티팩트나 낮은 이미지 품질로 인해 발생했으며, 이는 정확한 특성 복원을 방해하고 잘못된 탐지로 이어졌다.
• 본 연구는 핵심 위협 요소를 드러내며, 개인정보 향상된 이미지는 대체로 아티팩트 민감도가 낮은 처리 파이프라인을 통해 신뢰성 있게 탐지되고 악용될 수 있음을 시사한다.