[논문 리뷰] Face Anonymization by Manipulating Decoupled Identity Representation.

Tianxiang Ma, Dongze Li외 2명|arXiv (Cornell University)|2021. 05. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 5

한 줄 요약

이 논문은 GAN 프레임워크 내에서 조건부 다중스케일 재구성(CMR) 손실과 정체성 손실을 사용하여 얼굴 특징에서 정체성 표현을 분리하는 얼굴 익명화 방법을 제안한다. 이 방법은 익명 정체성 생성(AIG)으로 불리며, 최소한의 이미지 왜곡으로 익명화 성공률과 시각적 품질에서 최신 기술 수준을 달성한다.

ABSTRACT

Privacy protection on human biological information has drawn increasing attention in recent years, among which face anonymization plays an importance role. We propose a novel approach which protects identity information of facial images from leakage with slightest modification. Specifically, we disentangle identity representation from other facial attributes leveraging the power of generative adversarial networks trained on a conditional multi-scale reconstruction (CMR) loss and an identity loss. We evaulate the disentangle ability of our model, and propose an effective method for identity anonymization, namely Anonymous Identity Generation (AIG), to reach the goal of face anonymization meanwhile maintaining similarity to the original image as much as possible. Quantitative and qualitative results demonstrate our method's superiority compared with the SOTAs on both visual quality and anonymization success rate.

연구 동기 및 목표

• 특히 정체성 泄露 문제에 대비해 얼굴 영상 데이터의 개인정보 보호에 대한 증가하는 수요를 해결한다.
• 이미지 품질이 떨어지거나 정체성이 완전히 가림되지 않는 기존 얼굴 익명화 방법의 한계를 극복한다.
• 원본 이미지와의 얼굴 외형 유사성을 유지하면서도 효과적으로 정체성을 익명화하는 방법을 개발한다.
• 딥러닝을 활용해 정체성과 비정체성 얼굴 특징 간의 강력한 분리(디센트레그레이션)를 달성한다.

제안 방법

• 정체성이 다른 특징들과 분리된 얼굴 표현을 학습하기 위해 생성적 적대적 네트워크(GANs)를 활용한다.
• 다양한 스케일에서 얼굴 구조와 외형을 유지하기 위해 조건부 다중스케일 재구성(CMR) 손실을 사용해 모델을 훈련시킨다.
• 생성된 이미지가 원본의 정체성을 유지하면서도 익명화됨을 보장하기 위해 정체성 손실을 통합한다.
• 원본과 시각적으로 유사하지만 원본 사람으로서 식별되지 않는 새로운 정체성을 생성하기 위해 익명 정체성 생성(AIG)을 적용한다.
• 모순 훈련을 통해 정체성 泄露를 최소화하고 재구성 정밀도를 최대화하기 위해 생성자 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 조건부 생성 환경에서 GAN 기반 모델이 정체성 표현을 다른 얼굴 특징에서 효과적으로 분리할 수 있는가?
• RQ2 원본 얼굴 영상과의 지각적 유사성을 유지하면서 정체성을 얼마나 효과적으로 익명화할 수 있는가?
• RQ3 제안된 CMR 및 정체성 손실 조합이 이전 방법에 비해 분리 및 익명화 성능을 얼마나 향상시키는가?
• RQ4 제안된 방법의 익명화 성공률은 최신 기술 수준의 접근법과 비교해 어떻게 되는가?

주요 결과

• 제안된 방법은 최신 기술 수준의 방법에 비해 뛰어난 익명화 성공률을 달성한다.
• 정량적 및 정성적 결과는 익명화된 이미지의 높은 시각적 품질과 최소한의 왜곡을 확인한다.
• CMR 손실과 정체성 손실의 조합을 통해 정체성 표현의 분리가 효과적으로 달성된다.
• 익명 정체성 생성(AIG)은 원본과 시각적으로 유사한 새로운 정체성을 성공적으로 생성하였으며, 원본 사람으로서 식별되지 않는다.