[논문 리뷰] CFA-Net: Controllable Face Anonymization Network with Identity Representation Manipulation

Tianxiang Ma, Dongze Li외 2명|arXiv (Cornell University)|2021. 05. 24.

Face recognition and analysis참고 문헌 43인용 수 11

한 줄 요약

CFA-Net는 분리된 표현 공간을 사용하여 신원과 신원에 관련되지 않은 특징을 분리함으로써 제어 가능한 얼굴 익명화 프레임워크를 제안한다. 이는 신원 벡터를 조작하여 영역을 자유롭고 정밀하게 익명화할 수 있도록 한다. 이는 익명화 효과성, 이미지 품질, 제어 가능성에서 최신 기술을 초월하며, CelebA-HQ에서 FID 2.193과 98.8%의 익명화 성공률을 달성한다.

ABSTRACT

De-identification of face data has drawn increasing attention in recent years. It is important to protect people's identities meanwhile keeping the utility of the data in many computer vision tasks. We propose a Controllable Face Anonymization Network (CFA-Net), a novel approach that can anonymize the identity of given faces in images and videos, based on a generator that can disentangle face identity from other image contents. We reach the goal of controllable face anonymization through manipulating identity vectors in the generator's identity representation space. Various anonymized faces deriving from an original face can be generated through our method and maintain high similarity to the original image contents. Quantitative and qualitative results demonstrate our method's superiority over literature models on visual quality and anonymization validity.

연구 동기 및 목표

• 기존 얼굴 익명화 방법에서의 제어 불가능성 문제를 해결하기 위해, 이는 종종 고정되거나 저품질의 출력을 생성하기 때문이다.
• 포즈, 표정, 헤어스타일과 같은 신원에 관련되지 않은 특징을 효과적으로 익명화하는 동안 유지하기 위해.
• 데이터베이스에 있는 다른 개인의 신원 정보가 泄露되지 않도록 보장하기 위해.
• 사용자가 조절 가능한 수준의 신원 수정을 통해 영역을 자유롭게 익명화할 수 있도록 하기 위해.
• 학습 단계와 익명화 단계를 분리하여 참조 신원이나 추가적인 감독 없이도 가능하도록 하기 위해.

제안 방법

• 이 방법은 신원과 콘텐츠를 적대적 훈련을 통해 분리하는 분리된 신원 표현 공간을 갖춘 생성자(generator)를 사용한다.
• 신원 분리 능력은 신원 전용 및 콘텐츠 전용 인코더를 갖춘 이중 브랜치 네트워크를 통해 달성되며, 이는 신원 및 콘텐츠 복원 손실을 사용해 훈련된다.
• 익명화는 분리된 공간에서 원본 신원 벡터를 샘플링하고 수정함으로써 수행되며, 콘텐츠 벡터는 고정된 상태로 유지된다.
• 모델은 원래 얼굴의 텍스처, 색상, 구조적 세부 정보를 유지하기 위해 콘텐츠 일관성 손실을 사용한다.
• 모델이 조작 가능한 신원 표현을 의미 있게 학습할 수 있도록 보장하기 위해 신원 손실이 적용된다.
• 프레임워크는 대규모 얼굴 데이터셋에서 엔드 투 엔드로 훈련되어, 참조 이미지 없이도 새로운 얼굴에 대해 제로샷 익명화가 가능하다.

실험 결과

연구 질문

• RQ1 분리된 표현 공간에서 신원 벡터를 직접 조작함으로써 얼굴 익명화를 제어 가능하게 만들 수 있는가?
• RQ2 포즈나 표정과 같은 신원에 관련되지 않은 특징들이 익명화 과정에서 어느 정도 유지될 수 있는가?
• RQ3 기존 기법들과 비교해 본다면, 익명화 성공률과 이미지 품질 지표에서 본 방법은 어떤가?
• RQ4 핵심 손실 함수(콘텐츠 손실 및 신원 손실)가 익명화의 품질과 효과성에 어떤 영향을 미치는가?
• RQ5 시간적 일관성을 유지하면서도 영상 시퀀스에 효과적으로 적용될 수 있는가?

주요 결과

• CFA-Net은 CelebA-HQ에서 Fréchet Inception Distance(FID) 2.193을 달성하여 기존 방법들(예: Maximov 등은 2.663)을 크게 능가한다.
• 기존 연구 대비 낮은 LPIPS 점수 0.177을 기록하여 원본 이미지와 높은 지각적 유사도를 보이며, 이는 기존 연구의 0.221보다 우수하다.
• CFA-Net은 98.8%의 익명화 성공률을 달성하여 콘텐츠 손실이 없는 실험의 93.7%와 신원 손실이 없는 실험의 0.4%를 뛰어넘는다.
• 검출된 얼굴 영역 내에서 높은 SSIM(0.865)과 PSNR(21.26)를 유지하여 강력한 구조적 및 픽셀 수준의 정밀도를 보여준다.
• 다양한 얼굴 검출기(MTCNN: 92.0%, Dlib: 95.9%, SSH: 100%)에서 높은 얼굴 검출률 유지로 후속 작업에 대한 유용성을 확인한다.
• 제거 실험 결과, 콘텐츠 손실과 신원 손실 둘 다 필수적임을 확인: 둘 중 하나를 제거하면 이미지 품질이 심각하게 악화되거나 익명화 실패가 발생한다.