[논문 리뷰] Gender Privacy: An Ensemble of Semi Adversarial Networks for Confounding Arbitrary Gender Classifiers

Vahid Mirjalili, Sebastian Raschka외 1명|arXiv (Cornell University)|2018. 07. 31.

Face recognition and analysis인용 수 6

한 줄 요약

이 논문은 얼굴 이미지에 대해 다양한 변형을 생성하여 임의의 미리 알지 못하는 성별 분류기를 혼란스럽게 하면서도 얼굴 매칭 성능을 유지하는 세미 적대적 네트워크(SANs)의 앙상블을 제안한다. 서로 다른 데이터 증강 전략을 사용해 다섯 개의 SAN을 별도로 훈련시음으로써, 최소한 하나의 변형된 출력이 어떤 알려지지 않은 성별 분류기라도 속일 수 있도록 보장하며, 단일 SAN 방법에 비해 일반화 능력이 크게 향상된다.

ABSTRACT

Recent research has proposed the use of Semi Adversarial Networks (SAN) for imparting privacy to face images. SANs are convolutional autoencoders that perturb face images such that the perturbed images cannot be reliably used by an attribute classifier (e.g., a gender classifier) but can still be used by a face matcher for matching purposes. However, the generalizability of SANs across multiple arbitrary gender classifiers has not been demonstrated in the literature. In this work, we tackle the generalization issue by designing an ensemble SAN model that generates a diverse set of perturbed outputs for a given input face image. This is accomplished by enforcing diversity among the individual models in the ensemble through the use of different data augmentation techniques. The goal is to ensure that at least one of the perturbed output faces will confound an arbitrary, previously unseen gender classifier. Extensive experiments using different unseen gender classifiers and face matchers are performed to demonstrate the efficacy of the proposed paradigm in imparting gender privacy to face images.

연구 동기 및 목표

• 임의의 알려지지 않은 성별 분류기들에 대해 일반화 능력이 제한된 단일 세미 적대적 네트워크(SAN)의 문제를 해결하기 위해.
• 다양하고 이전에 알 수 없었던 성별 분류기들에 대해 효과적인 변형을 유지함으로써 얼굴 이미지의 성별 개인정보 보호를 향상시키기 위해.
• 변형된 이미지에서도 높은 얼굴 매칭 정확도를 유지하여 생체인식 기능성을 보존하기 위해.
• 실제 생체인식 시스템에 구현 가능한 실용적이고 배포 가능한 개인정보 보호 기반 얼굴 이미지 변환 방법을 개발하기 위해.

제안 방법

• 다양한 데이터 증강 전략을 사용해 다섯 개의 개별 SAN 모델을 훈련시켜 변형 패턴의 다양성을 확보한다.
• 각 SAN은 복원 오차를 최소화하고 성별 분류기를 오도시키는 이중 손실을 사용해 훈련되는 컨볼루션 오토에인코더이다. 이때 얼굴 매칭 기능성도 유지된다.
• 미리 알 수 없는 매칭기들(예: FaceNet, OpenFace)의 얼굴 임베딩 간 코사인 유사도를 사용해 변형된 이미지에서의 생체인식 기능성을 평가한다.
• 각 입력 얼굴 이미지에 대해 다섯 개의 서로 다른 변형된 출력을 생성하고, 성별 분류기 신뢰도 점수를 기반으로 각 이미지당 가장 우수한 성능을 보인 변형을 선택한다.
• 실제 구현에서는 알려지지 않은 분류기들에 대한 강건성을 확보하기 위해 다섯 개의 변형 출력 중 무작위로 하나를 선택한다.
• 다양한 알려지지 않은 성별 분류기들과 얼굴 매칭기들을 사용해 네 가지 기준 데이터셋(CelebA-test, MORPH-test, MUCT, LFW, RaFD)에서 평가한다.

실험 결과

연구 질문

• RQ1 다양한 알려지지 않은 성별 분류기를 혼란스럽게 하는 데 있어, SAN의 앙상블이 단일 SAN보다 더 잘 일반화되는가?
• RQ2 여러 개의 SAN 모델 간 변형의 다양성이 알려지지 않은 성별 분류기들에 대해 강건성을 향상시키는가?
• RQ3 변형 후에도 다양한 알려지지 않은 얼굴 매칭기들에서 얼굴 매칭 성능이 어느 정도 유지되는가?
• RQ4 목표 성별 분류기의 사전 지식 없이 앙상블에서 무작위 선택을 통해 강력한 성별 개인정보 보호를 달성할 수 있는가?

주요 결과

• E3 앙상블 SAN은 단일 SAN 모델보다 알려지지 않은 성별 분류기를 혼란스럽게 하는 데서 뚜렷한 우월성을 보였으며, 테스트된 모든 분류기에서 최소한 하나의 변형된 출력이 성능을 떨어뜨렸다.
• 평균적으로 E3 앙상블에서 가장 우수한 변형 출력은 원본 이미지 대비 성별 분류기 AUC를 30퍼센트 이상 감소시켜 강력한 혼란 유도 능력을 입증했다.
• 얼굴 매칭 성능은 대부분 유지되었으며, M-COTS와 DR-GAN은 변형된 이미지와 원본 이미지에서 거의 동일한 성능을 보였고, DR-GAN은 RaFD에서 약간의 성능 저하가 있었다.
• FaceNet과 OpenFace는 변형된 이미지에서 약간의 성능 저하를 보였지만, 변형에 대해 강건함을 보였다.
• 앙상블에서 무작위 선택이 어떤 단일 SAN 모델보다도 더 뛰어난 혼란 유도 성능을 보였으며, 다양성의 가치를 확인했다.
• 모든 네 가지 평가 데이터셋에서 생체인식 기능성이 유지되어 실제 구현 가능성의 증명이 되었다.