[논문 리뷰] FICGAN: Facial Identity Controllable GAN for De-identification

Yonghyun Jeong, Jooyoung Choi외 6명|arXiv (Cornell University)|2021. 10. 02.

Face recognition and analysis참고 문헌 38인용 수 8

한 줄 요약

FICGAN은 공간 코드와 대조 학습을 사용하여 신원과 비신원 특징을 분리하는 조건부 GAN 기반의 얼굴 탈신원화 모델로, 자세, 표정, 조명 등의 유지가 가능한 고해상도, k-익명성 얼굴 이미지를 생성한다. 이는 프라이버시 보호와 특징 유지 성능에서 최신 기술을 초월하며, FID 및 특징 유지 측정 지표에서 기존 방법을 능가한다.

ABSTRACT

In this work, we present Facial Identity Controllable GAN (FICGAN) for not only generating high-quality de-identified face images with ensured privacy protection, but also detailed controllability on attribute preservation for enhanced data utility. We tackle the less-explored yet desired functionality in face de-identification based on the two factors. First, we focus on the challenging issue to obtain a high level of privacy protection in the de-identification task while uncompromising the image quality. Second, we analyze the facial attributes related to identity and non-identity and explore the trade-off between the degree of face de-identification and preservation of the source attributes for enhanced data utility. Based on the analysis, we develop Facial Identity Controllable GAN (FICGAN), an autoencoder-based conditional generative model that learns to disentangle the identity attributes from non-identity attributes on a face image. By applying the manifold k-same algorithm to satisfy k-anonymity for strengthened security, our method achieves enhanced privacy protection in de-identified face images. Numerous experiments demonstrate that our model outperforms others in various scenarios of face de-identification.

연구 동기 및 목표

• 얼굴 탈신원화에서 강력한 프라이버시 보호와 높은 데이터 유용성 간의 상충 관계를 해결하기 위해.
• 탈신원화 과정에서 어떤 얼굴 특징(예: 자세, 표정)이 유지될지를 세밀하게 제어할 수 있도록 하기 위해.
• 잠재 공간에서 k-same 알고리즘을 적용하여 강력한 프라이버시를 확보하기 위해 k-익명성을 달성하기 위해.
• 이미지 품질이 떨어지거나 신원이 泄露되는 문제를 겪는 얼굴 교체 및 평균화 방법의 한계를 극복하기 위해.
• 신원 지배적 특징을 흐리게 하면서도 비신원 특징을 유지하는 분리된 생성 모델을 개발하기 위해.

제안 방법

• 소스 이미지 특징을 분리된 생성을 위해 공간 코드 $z_s$를 사용하는 오토인코더 기반 조건부 GAN을 사용한다.
• 잠재 공간에서 신원 분리를 강화하기 위해 $\mathcal{L}_{\text{pos}}$ 및 $\mathcal{L}_{\text{neg}}$를 통한 대조 학습을 적용한다.
• 다양체 $k$-same 알고리즘을 활용해 잠재 공간에서 $k$개의 얼굴 임베딩을 혼합하여 $k$-익명성을 달성한다.
• 세분화된 제어를 가능하게 하기 위해 계층별 생성기 통합을 통해 탈신원화 강도 및 특징 유지 정도를 제어한다.
• 신원 및 비신원 특징의 분리를 활용해 신원 은폐와 특징 유지 간의 분리를 실현한다.
• 실제성과 프라이버시를 동시에 최적화하기 위해 FID 및 ID 유사도 측정 지표를 활용한다.

실험 결과

연구 질문

• RQ1 자세, 표정, 조명과 같은 비신원 특징을 유지하면서도 얼굴 신원을 효과적으로 탈신원화할 수 있는가?
• RQ2 이미지 품질을 희생시키지 않고 얼굴 탈신원화에서 k-익명성을 어느 정도 달성할 수 있는가?
• RQ3 GAN 기반 탈신원화에서 신원 은폐와 특징 유지 간의 최적의 트레이드오프는 무엇인가?
• RQ4 대조 학습이 얼굴 생성에서 신원과 비신원 특징의 분리를 향상시키는 데 기여하는가?
• RQ5 공간 코드 $z_s$는 탈신원화 과정에서 소스 특징을 유지하는 데 어떤 기여를 하는가?

주요 결과

• 비교된 방법들 중에서 FICGAN은 Fréchet Inception Distance(FID)가 85.44로 가장 낮아, 우수한 이미지 품질과 현실성 함의.
• k-익명성 조건에서 FICGAN은 낮은 ID 유사도 0.091를 유지하며, IDDis를 능가하는 프라이버시 보호 성능과 더불어 더 많은 특징 유지 성능 확보.
• 제거 실험 결과, $\mathcal{L}_{\text{neg}}$를 제거할 경우 ID 유사도가 0.312로 증가하여 분리 품질 저하 확인.
• 공간 코드 $z_s$ 없이 제작 시 특징 유지 수준이 크게 떨어지며, 전체 모델 대비 74.49의 할당 점수 기록(전체 모델은 81.35)
• 다양한 테스트 세트에서 조건부로 헤드 포즈, 표정, 피부 톤, 헤어 스타일 등이 안정적으로 유지됨. 특히 k-익명성 제약 하에서도 성능 유지를 보임.
• FID 및 특징 유지 성능에서 APFD 및 FSGAN+$k$-same를 모두 능가하며, 다른 모델들이 FID 변동성이 큰 반면 FICGAN은 안정적인 성능 유지를 기록함.