[논문 리뷰] FaceMAE: Privacy-Preserving Face Recognition via Masked Autoencoders

Kai Wang, Bo Zhao외 6명|arXiv (Cornell University)|2022. 05. 23.

Face recognition and analysis인용 수 6

한 줄 요약

FaceMAE는 마스크된 입력에서 얼굴 이미지를 복원하는 마스크된 오토인코더를 사용하여 개인정보 보호 기반의 얼굴 인식 프레임워크를 제안한다. 표준 MSE 손실 대신 인스턴스 관계 매칭(IRM)을 도입함으로써 실제 얼굴과 복원된 얼굴 간의 분포 격차를 최소화하여, 멤버십 개인정보 泄露를 약 20% 감소시키고, LFW, CFP-FP, AgeDB에서 최신 기술 대비 인식 오차를 최소 50% 감소시킨다.

ABSTRACT

Face recognition, as one of the most successful applications in artificial intelligence, has been widely used in security, administration, advertising, and healthcare. However, the privacy issues of public face datasets have attracted increasing attention in recent years. Previous works simply mask most areas of faces or synthesize samples using generative models to construct privacy-preserving face datasets, which overlooks the trade-off between privacy protection and data utility. In this paper, we propose a novel framework FaceMAE, where the face privacy and recognition performance are considered simultaneously. Firstly, randomly masked face images are used to train the reconstruction module in FaceMAE. We tailor the instance relation matching (IRM) module to minimize the distribution gap between real faces and FaceMAE reconstructed ones. During the deployment phase, we use trained FaceMAE to reconstruct images from masked faces of unseen identities without extra training. The risk of privacy leakage is measured based on face retrieval between reconstructed and original datasets. Experiments prove that the identities of reconstructed images are difficult to be retrieved. We also perform sufficient privacy-preserving face recognition on several public face datasets (i.e. CASIA-WebFace and WebFace260M). Compared to previous state of the arts, FaceMAE consistently extbf{reduces at least 50\% error rate} on LFW, CFP-FP and AgeDB.

연구 동기 및 목표

• 딥 얼굴 인식 모델 학습에 사용되는 공개 얼굴 데이터셋에서의 멤버십 개인정보 泄露 증가 문제를 다루기.
• 이전 방법들—예를 들어 블러링, 마스킹, GAN 기반 합성—이 데이터 유용성을 떨어뜨리거나 새로운 신원에 대해 일반화하지 못하는 한계를 극복하기.
• 마스크된 입력에서 의미 있는, 신원을 유지하는 얼굴을 복원함으로써 개인정보 보호와 높은 인식 성능을 동시에 유지하기.
• 재학습 없이도 새로운 신원에 대해도 배포가 가능하도록 프레임워크를 개발하여 확장성과 실용성 확보하기.
• 복원된 얼굴가 원본과 검색 작업에서 구분 불가능하게 만들어 멤버십 추론 공격의 위험을 최소화하기.

제안 방법

• 랜덤으로 마스킹된 얼굴 이미지에 대해 마스크된 오토인코더(MAE)를 학습하여 원래 얼굴 분포를 복원하기.
• 표준 MSE 손실 대신 실제 얼굴과 복원된 얼굴의 특징 관계 그래프를 정렬하기 위한 인스턴스 관계 매칭(IRM) 모듈을 도입하기.
• IRM을 통해 실제 얼굴과 복원된 얼굴의 특징 간 분포 격차를 최소화하여 인식 유용성을 향상시키기.
• 배포 시점에, 추가 미세조정 없이도 훈련된 FaceMAE를 사용하여 새로운 신원의 마스크된 얼굴을 복원하기.
• 원본 데이터셋과 복원된 데이터셋 간의 얼굴 검색 정확도를 측정하여 멤버십 개인정보 보호 수준 평가하기.
• IRM 손실의 가중치를 조절하는 하이퍼파rameter β를 사용하여 개인정보 보호와 성능 간의 트레이드오프 최적화하기.

실험 결과

연구 질문

• RQ1 마스크된 오토인코더에 인스턴스 관계 매칭을 적용할 경우, 인식 유용성을 유지하면서 개인정보 泄露를 줄일 수 있는가?
• RQ2 전통적인 마스킹 및 GAN 기반 방법과 비교해 FaceMAE는 얼굴 인식 정확도와 개인정보 보호 측면에서 어떻게 성능을 내는가?
• RQ3 IRM 모듈이 실제 얼굴과 복원된 얼굴 특징 간의 분포 격차를 어느 정도 감소시키는가?
• RQ4 다양한 마스크 패턴과 위치(예: 눈, 입)에 대해 FaceMAE는 얼마나 강건한가?
• RQ5 IRM 손실의 가중치 하이퍼파rameter β가 개인정보 보호와 인식 성능의 균형에 미치는 영향은 무엇인가?

주요 결과

• FaceMAE는 LFW, CFP-FP, AgeDB에서 최신 기술 대비 얼굴 인식 오차율을 최소 50% 감소시켰다.
• 원본 데이터셋과 복원된 데이터셋 간의 검색 정확도로 측정한 개인정보 泄露 위험은 약 20% 감소했다.
• FaceMAE를 통한 복원은 표준 MAE나 GAN 기반 방법보다 실제 얼굴과 훨씬 우수한 특징 분포 일치를 달성했다.
• 눈과 입과 같은 중요한 얼굴 영역을 마스킹해도 성능이 유지되지만, 전체 얼굴 마스킹 대비 약간의 성능 저하가 발생했다.
• IRM 손실 가중치 β를 1.0 이상으로 증가시키면 성능 저하가 발생하여, 최적의 트레이드오프 지점은 약 β = 1.0에서 발생함을 확인했다.
• '원본에서 FaceMAE'의 검색 성능은 '원본에서 원본'보다 훨씬 낮았으며, '원본에서 MAE'보다도 낮아 FaceMAE의 우수성을 입증했다.