[논문 리뷰] A Utility-Preserving GAN for Face Obscuration

Hanxiang Hao, David Güera외 2명|arXiv (Cornell University)|2019. 06. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 14

한 줄 요약

이 논문은 신원을 은폐하면서도 연령, 성별, 피부 톤, 자세, 표정과 같은 신원과 무관한 얼굴 특징을 유지하는 유틸리티 보존 GAN인 UP-GAN을 제안한다. 유틸리티 특성과 지표점을 조건으로 삼아 생성함으로써 UP-GAN은 정규화 블러링, 푸ixel화, k-same 방법보다 우수한 은폐 성능과 시각적 현실감을 달성했으며, FID 점수 68.78을 기록하여 모든 방법 중에서 가장 낮았다.

ABSTRACT

From TV news to Google StreetView, face obscuration has been used for privacy protection. Due to recent advances in the field of deep learning, obscuration methods such as Gaussian blurring and pixelation are not guaranteed to conceal identity. In this paper, we propose a utility-preserving generative model, UP-GAN, that is able to provide an effective face obscuration, while preserving facial utility. By utility-preserving we mean preserving facial features that do not reveal identity, such as age, gender, skin tone, pose, and expression. We show that the proposed method achieves the best performance in terms of obscuration and utility preservation.

연구 동기 및 목표

• 기존의 가우시안 블러링과 푸ixel화 같은 전통적 얼굴 은폐 방법이 딥러닝 기반 신원 복원에 취약하다는 문제를 해결하기 위해.
• 시각적 이해 및 데이터 마이닝 등의 후속 응용을 위해 연령, 성별, 피부 톤, 자세, 표정과 같은 비신원 얼굴 유틸리티를 유지하기 위해.
• 원본 신원이 있는 얼굴 데이터에 접근하지 않고도 현실적인 은폐된 얼굴을 생성하는 GAN 기반 방법을 개발하기 위해.
• 유틸리티 특성에만 의존하는 얼굴을 생성함으로써 k-익명성을 달성하여 단일 얼굴가 재식별되지 않도록 보장하기 위해.

제안 방법

• UP-GAN은 생성자가 잠재 벡터와 유틸리티 조건 벡터(특성 및 지표점)를 기반으로 은폐된 얼굴을 생성하는 조건부 GAN 프레임워크를 사용한다.
• 생성자는 원래 얼굴에서 보조 검출 시스템을 통해 추출한 정적 특성 벡터(연령, 성별, 피부 톤)와 동적 지표점(얼굴 키 포인트)을 조건으로 삼는다.
• 모델은 다중 손실 함수를 활용한다: 현실감을 높이기 위한 적대적 손실, 픽셀 수준의 정밀도를 확보하기 위한 L1 손실, 얼굴 경계 정의를 향상시키기 위한 마스크 손실, 리플리케이션 유사한 아티팩트를 감소시키기 위한 인지 손실.
• 판별자는 실제 얼굴과 생성된 은폐된 얼굴을 구분하도록 훈련되어 생성자가 더 현실적인 출력을 내도록 이끈다.
• 훈련 중에 원본 얼굴를 직접 입력하지 않고 유틸리티 특성만 사용함으로써 신원 정보 泄漏를 방지한다.
• 최종 은폐 이미지는 원본 얼굴 영역을 생성된 얼굴로 대체함으로써 비얼굴적 맥락을 유지한다.

실험 결과

연구 질문

• RQ1 GAN 기반 방법이 연령, 성별, 피부 톤, 자세, 표정과 같은 비신원 얼굴 특징을 효과적으로 은폐하면서 유지할 수 있는가?
• RQ2 UP-GAN은 가우시안 블러링, 푸ixel화, k-same 방법과 비교해 신원 보호 및 시각적 품질 측면에서 어떤 성능을 보이는가?
• RQ3 다중 손실 함수(적대적, L1, 마스크, 인지)의 사용이 생성된 은폐된 얼굴의 현실감과 경계 명료도에 얼마나 기여하는가?
• RQ4 공격자가 방법을 모른다는 가정(위협 모델 I)과 방법을 안다는 가정(위협 모델 II) 모두에서 UP-GAN은 강력한 은폐 성능을 유지하는가?
• RQ5 유틸리티 특성에만 의존하는 얼굴을 생성함으로써 UP-GAN은 k-익명성을 달성하여 신원 재식별을 방지할 수 있는가?

주요 결과

• UP-GAN은 모든 평가된 방법 중에서 가장 낮은 Fréchet Inception Distance(FID) 점수 68.78을 기록하여 생성된 은폐된 얼굴의 시각적 현실감이 가장 높음을 나타낸다.
• 위협 모델 I(공격자가 방법을 모름)에서, 가우시안 블러링(커널 크기 5와 15 제외) 이외의 모든 방법이 높은 은폐 성능을 보였으며, UP-GAN은 얼굴 식별 정확도 0.004를 기록했다.
• 위협 모델 II(공격자가 방법을 안다)에서 UP-GAN은 얼굴 식별 정확도 0.245로 강력한 은폐 성능을 유지했으며, 푸ixel화-25(0.191), k-same(0.028), k-same-net(0.238)을 모두 능가했다.
• 시각적 비교 결과, UP-GAN은 k-same-net과 푸ixel화보다 더 선명한 얼굴 경계와 더 적은 아티팩트를 생성했으며, 더 자연스러운 얼굴 구조를 보였다.
• 인지 손실과 마스크 손실의 포함으로 시각적 품질이 크게 향상되어 리플리케이션 유사 아티팩트가 감소하고 얼굴 윤곽 정의가 향상되었다.
• UP-GAN은 신원 재구성 불가능성을 확보하면서도 연령, 성별, 피부 톤, 자세, 표정과 같은 유틸리티 특징을 성공적으로 유지했다.