[논문 리뷰] DiffProtect: Generate Adversarial Examples with Diffusion Models for Facial Privacy Protection

Jiang Liu, Chun Pong Lau외 4명|arXiv (Cornell University)|2023. 05. 23.

Face recognition and analysis인용 수 8

한 줄 요약

DiffProtect는 확산 자동인코더를 사용하여 얼굴 인식 시스템을 속이는 의미론적으로 의미 있고 고품질의 적대적 얼굴 이미지를 생성하며, 이전 방법들보다 높은 공격 성공률을 달성합니다. 또한 공격 가속 variante를 도입합니다.

ABSTRACT

The increasingly pervasive facial recognition (FR) systems raise serious concerns about personal privacy, especially for billions of users who have publicly shared their photos on social media. Several attempts have been made to protect individuals from being identified by unauthorized FR systems utilizing adversarial attacks to generate encrypted face images. However, existing methods suffer from poor visual quality or low attack success rates, which limit their utility. Recently, diffusion models have achieved tremendous success in image generation. In this work, we ask: can diffusion models be used to generate adversarial examples to improve both visual quality and attack performance? We propose DiffProtect, which utilizes a diffusion autoencoder to generate semantically meaningful perturbations on FR systems. Extensive experiments demonstrate that DiffProtect produces more natural-looking encrypted images than state-of-the-art methods while achieving significantly higher attack success rates, e.g., 24.5% and 25.1% absolute improvements on the CelebA-HQ and FFHQ datasets.

연구 동기 및 목표

• 광범위한 얼굴 인식 시스템에 대한 얼굴 프라이버시 보호를 촉진합니다.
• 높은 공격 효율성을 가진 자연스러운 적대적 얼굴 이미지를 생성하는 방법을 개발합니다.
• 얼굴에 의미론적으로 의미 있는 perturbations를 생성하기 위해 확산 모델을 활용합니다.
• 시각적 정체성을 보존하면서 FR 시스템에 대한 표적 공격을 가능하게 합니다.

제안 방법

• 입력 얼굴을 확산 자동인코더를 통해 시맨틱 코드 z와 확률적 코드 x_T로 인코딩합니다.
• 조건부 DDIM 디코딩을 통해 보호된 이미지 I_p를 생성하기 위해 공격적 시맨틱 코드 z_adv를 반복적으로 최적화합니다.
• I_p의 시각적 유사성을 유지하고 정체성을 보존하기 위해 얼굴 시맨틱 정규화를 포함합니다.
• z_adv에서 L_infty 예산 ||z_adv − z||_∞ < γ로 제약된 최적화를 통해 공격을 형성합니다.
• 필요 시 공격 가속 variant(DiffProtect-fast)을 적용하여 I_p를 단일 확산 단계로 추정해 반복(iterations) 속도를 높입니다.

실험 결과

연구 질문

• RQ1 확산 모델이 시각적으로 고품질이면서 FR 시스템을 속이는 적대적 얼굴 이미지를 생성할 수 있는가?
• RQ2 의미론적 정규화가 공격 성공률과 시각적 충실도 사이의 트레이드오프에 어떤 영향을 미치는가?
• RQ3 성능을 크게 희생하지 않고 확산 기반 적대적 공격을 가속화하는 것이 가능한가?
• RQ4 블랙박스 표적 설정에서 확산 기반 공격이 GAN 기반 및 전통적 노이즈/패치 기반 방법과 어떻게 비교되는가?

주요 결과

• DiffProtect는 CelebA-HQ 및 FFHQ에서 표적 블랙박스 FR 공격에서 이전 방법들보다 월등히 우수한 ASR과 더 낮은 FID 점수를 기록합니다.
• 자연스러운 외관의 보호 이미지와 눈에 띄는 노이즈나 패치를 피하는 무해한 교란으로 얻은 결과를 제공합니다.
• 공격 가속 variant(DiffProtect-fast)은 대략 절반의 계산 시간으로 비슷한 ASR을 달성합니다.
• 얼굴 시맨틱 정규화가 입력 정체성 유지에 도움이 되지만 정규화 가중치에 따라 ASR이 감소할 수 있습니다.
• 상용 FR API Face++에서 DiffProtect는 CelebA-HQ와 FFHQ 모두에서 베이스라인에 비해 평균 신뢰도 감소를 더 크게 달성합니다.