[논문 리뷰] IdentityDP: Differential Private Identification Protection for Face Images

Yunqian Wen, Song Li외 3명|arXiv (Cornell University)|2021. 03. 02.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 차별적 프라이버시(DP)와 분리된 GAN을 통합하여 시각적 품질을 유지하면서도 조정 가능한 프라이버시-이용도 트레이드오프를 제공하는 새로운 얼굴 탈식별 프레임워크 IdentityDP를 제안한다. 신원 특징에 DP 노이즈를 적용하고 고정된 생성기로 이미지를 재구성함으로써, 사전 레이블링이나 외부 신원 가이던스 없이도 높은 시각적 유사도와 강력한 프라이버시 보장을 달성한다.

ABSTRACT

Because of the explosive growth of face photos as well as their widespread dissemination and easy accessibility in social media, the security and privacy of personal identity information becomes an unprecedented challenge. Meanwhile, the convenience brought by advanced identity-agnostic computer vision technologies is attractive. Therefore, it is important to use face images while taking careful consideration in protecting people's identities. Given a face image, face de-identification, also known as face anonymization, refers to generating another image with similar appearance and the same background, while the real identity is hidden. Although extensive efforts have been made, existing face de-identification techniques are either insufficient in photo-reality or incapable of well-balancing privacy and utility. In this paper, we focus on tackling these challenges to improve face de-identification. We propose IdentityDP, a face anonymization framework that combines a data-driven deep neural network with a differential privacy (DP) mechanism. This framework encompasses three stages: facial representations disentanglement, $ε$-IdentityDP perturbation and image reconstruction. Our model can effectively obfuscate the identity-related information of faces, preserve significant visual similarity, and generate high-quality images that can be used for identity-agnostic computer vision tasks, such as detection, tracking, etc. Different from the previous methods, we can adjust the balance of privacy and utility through the privacy budget according to pratical demands and provide a diversity of results without pre-annotations. Extensive experiments demonstrate the effectiveness and generalization ability of our proposed anonymization framework.

연구 동기 및 목표

• 소셜 미디어 및 공개 데이터셋에서 광범위하게 공유되는 얼굴 이미지로 인한 증가하는 프라이버시 위험을 해결한다.
• 기존 얼굴 익명화 방법의 한계, 즉 낮은 시각적 품질, 대상 시스템에 대한 액세스 의존성, 사전 레이블링에 대한 의존도를 극복한다.
• 기계 학습 기반의 유연한 프레임워크를 통해 조정 가능한 프라이버시-이용도 트레이드오프를 제공하고, 컴퓨터 비전 작업에 대한 신원 무관 이용도를 유지한다.
• 일반화 가능하고 레이블링이 없는 솔루션을 제공하여 다양한 얼굴 이미지, 특히 어려운 조명 조건이나 예술적 초상화에서도 시각적 정확도를 유지한다.

제안 방법

• 잠재 특징 공간에서 신원 표현과 다중 수준의 속성 표현을 분리하는 분리된 GAN을 활용한다.
• ε-IdentityDP 노이즈를 직접 분리된 신원 표현에 적용하여 공식적인 차별적 프라이버시 보장을 확보한다.
• 학습된 GAN 생성기를 고정하고, 노이즈가 가해진 신원 코드와 변화하지 않은 속성 코드를 사용해 익명화된 이미지를 재구성한다.
• 프라이버시 예산 ε에 맞게 조정된 분산을 가진 노이즈 텐서를 사용하여 왜곡 수준을 제어한다.
• 시각적 유사도를 유지하기 위해 적대적 손실과 신원 복원 손실을 사용해 분리 GAN을 훈련한다.
• DP 메커니즘을 추론 시점에 통합하여 사용자가 원하는 프라이버시-이용도 균형을 위해 ε를 조정할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥 러닝 생성 모델과 차별적 프라이버시를 조합하여 높은 시각적 정확도를 유지하면서도 효과적으로 얼굴 이미지를 익명화할 수 있는가?
• RQ2 제안된 IdentityDP 프레임워크는 최신 기술 대비 프라이버시 보호와 이미지 이용도 사이에서 어떻게 균형을 이룬다?
• RQ3 IdentityDP는 어려운 조명 조건이나 예술적 스타일의 이미지와 같은 새로운 입력에 얼마나 잘 일반화되는가?
• RQ4 IdentityDP는 사전 레이블링, 외부 신원 제공자, 또는 대상 시스템 매개변수 액세스 없이도 프라이버시 보호를 달성할 수 있는가?

주요 결과

• CelebA 및 NIST 챌린지 이미지에서의 정성적 비교 결과, IdentityDP는 CIAGAN보다 뛰어난 시각적 유사도를 달성한다.
• 정량적 결과는 IdentityDP가 더 높은 이미지 이용도(FID 및 LPIPS 기준)를 유지하면서도 더 강력한 프라이버시 보장을 제공함을 보여준다.
• Fawkes는 높은 시각적 유사도를 보였지만 프라이버시 메트릭에서 열등한 성능을 보여, 약한 프라이버시 보장을 의미한다.
• IdentityDP는 저조도, 고대비 및 예술적 초상화 이미지와 같은 어려운 입력에 대해 잘 일반화되며, 눈에 띄는 아티팩트나 왜곡 없이 작동한다.
• 프레임워크는 최소한의 계산 오버헤드를 유발하며, NVIDIA GTX 1080 Ti에서 평균 0.329초의 시간에 이미지 하나를 처리한다.
• ε 기반의 조정 가능한 프라이버시 예산을 지원하여 재학습이나 사전 레이블링 없이 다양한 익명화 결과를 도출할 수 있다.