[논문 리뷰] Privacy-Protective-GAN for Face De-identification

Yifan Wu, Fan Yang외 1명|arXiv (Cornell University)|2018. 06. 23.

Face recognition and analysis참고 문헌 21인용 수 44

한 줄 요약

이 논문은 Privacy-Protective-GAN(PP-GAN)을 제시합니다. 이는 얼굴 비식별화를 위한 GAN 기반 프레임워크로, 확인자(대조 손실)와 조절자(SSIM)를 사용하여 구조와 시각적 유용성을 보존하면서 신원을 제거합니다. MORPH 데이터에서 강력한 프라이버시 보호, 유지된 유용성 및 높은 시각적 유사성을 보고합니다.

ABSTRACT

Face de-identification has become increasingly important as the image sources are explosively growing and easily accessible. The advance of new face recognition techniques also arises people's concern regarding the privacy leakage. The mainstream pipelines of face de-identification are mostly based on the k-same framework, which bears critiques of low effectiveness and poor visual quality. In this paper, we propose a new framework called Privacy-Protective-GAN (PP-GAN) that adapts GAN with novel verificator and regulator modules specially designed for the face de-identification problem to ensure generating de-identified output with retained structure similarity according to a single input. We evaluate the proposed approach in terms of privacy protection, utility preservation, and structure similarity. Our approach not only outperforms existing face de-identification techniques but also provides a practical framework of adapting GAN with priors of domain knowledge.

연구 동기 및 목표

• 이미지가 확산되고 얼굴 인식이 점점 더 강력해짐에 따라 프라이버시 보장 얼굴 분석의 필요성을 제기한다.
• 신원 제거와 구조적/시각적 유용성의 균형을 맞춘 GAN 기반 비식별화 프레임워크를 개발한다.
• GAN 학습에 신원 priors(확인자)와 구조 priors(SSIM regulator)를 도입한다.
• 개별 탐색 얼굴에 대한 비식별화 출력을 생성할 수 있는 엔드 투 엔드 학습 가능 아키텍처를 제공한다.
• 프라이버시(확인)와 유용성(탐지 및 SSIM)을 결합한 체계적인 평가 지표를 제안한다.

제안 방법

• 네 가지 구성요소로 PP-GAN을 제안한다. 생성기(U-Net), 판별기, 확인자(대조 손실), 조절자(SSIM).
• 세 가지 손실 항으로 조건부 GAN을 학습한다. cGAN 손실, 확인 손실, SSIM 손실.
• 확인자(Light CNN-9과 시암쌘 대조 손실)를 사전 학습하고 PP-GAN 학습 중 동결한다.
• 구조 보존 손실로 SSIM을 사용하여 휘도, 대비 및 구조적 유사성을 촉진하고, 확인자는 신원 분리를 강제한다.
• 생성기를 L_face = L_cGAN + lambda1 * L_verif + lambda2 * L_sim의 합 손실로 최적화하며, min-max(G,D) 프레임워크에서 작동한다.

실험 결과

연구 질문

• RQ1 GAN 기반 비식별화 방법이 이미지 구조와 유용성을 보존하면서 생체 인식 신원을 효과적으로 제거할 수 있는가?
• RQ2 확인자와 SSIM 기반 조절자를 도입하면 시각적 품질을 해치지 않으면서 프라이버시 보호를 향상시킬 수 있는가?
• RQ3 PP-GAN이 다양한 인구통계 그룹에서 신원 제거와 구조적 유사성 간의 트레이드오프를 어떻게 보이는가?
• RQ4 PP-GAN이 표준 프라이버시 및 유용성 지표에서 기존의 비식별화 방법에 비해 어떤 성능을 보이는가?

주요 결과

• PP-GAN은 원본 이미지와 비식별화된 이미지 간의 검증을 방해함으로써 강력한 프라이버시 보호를 달성한다.
• 비식별화 후에도 얼굴 유사성 및 탐지기 사용 가능성을 유지하는 등 데이터 유용성을 보존한다.
• 확인자와 SSIM 조절자를 모두 도입하면 단독으로 사용할 때보다 신원 제거와 시각적 유사성 간의 균형이 더 잘 맞는다.
• MORPH에서 성별/인종 그룹에 걸쳐 구조와 유용성을 유지하면서 높은 비식별화 성능을 보인다는 정량적 평가가 있다.
• 사전 학습된 확인자와 얼굴 탐지기를 결합한 체계적 평가 계획을 도입하여 비식별화 비율과 유용성을 평가한다.
• 이 방법은 비식별화 효과 및 시각적 품질 면에서 기존의 k-same 및 GAN 기반 방법을 능가한다.