[논문 리뷰] DeepPrivacy2: Towards Realistic Full-Body Anonymization

Håkon Hukkelås, Frank Lindseth|arXiv (Cornell University)|2022. 11. 17.

Face recognition and analysis인용 수 7

한 줄 요약

DeepPrivacy2는 새로운 150만 장의 이미지 데이터셋(FDH)과 다중 모odal 검출을 활용하여 얼굴 외 풀바디 익명화를 가능하게 하는 혁신적인 GAN 기반 프레임워크를 제안한다. 이는 이미지 품질과 개인정보 보호 수준을 향상시키며, CSE 유도, 무조건적, 얼굴 전용 GAN을 활용한 삼중 스트림 익명화 파이프라인을 통해 최신 기술 수준의 성능을 달성한다. 또한 텍스트 유도 편집이 가능한 편집 가능한 잠복 공간 의미론을 제공한다.

ABSTRACT

Generative Adversarial Networks (GANs) are widely adapted for anonymization of human figures. However, current state-of-the-art limit anonymization to the task of face anonymization. In this paper, we propose a novel anonymization framework (DeepPrivacy2) for realistic anonymization of human figures and faces. We introduce a new large and diverse dataset for human figure synthesis, which significantly improves image quality and diversity of generated images. Furthermore, we propose a style-based GAN that produces high quality, diverse and editable anonymizations. We demonstrate that our full-body anonymization framework provides stronger privacy guarantees than previously proposed methods.

연구 동기 및 목표

• 기존의 얼굴 전용 익명화 방법이 주요 및 보조 식별자(예: 귀, 보행 방식, 성별)를 노출하는 한계를 해결하기 위해.
• 150만 장의 인간 인물 이미지로 구성된 대규모이고 다양한 데이터셋(FDH)을 도입하여 풀바디 익명화의 이미지 품질과 다양성을 향상시키기 위해.
• 밀도 있는 자세 추정(CSE) 실패 문제를 해결하기 위해 다중 검출 모odal(예: CSE, Mask R-CNN, DSFD)을 융합하여 강력한 인간 인물 검출 및 익명화를 가능하게 하기 위해.
• 스타일 기반 GAN을 통해 잠복 공간 내에서 텍스트 유도 속성 편집이 가능한 글로벌이고 의미 있는 편집 기능을 제공함으로써 향상된 품질의 익명화를 실현하기 위해.
• 전체 신체를 익명화하면서도 맥락적 현실성을 유지함으로써 기존의 흐림 처리나 얼굴 전용 방법보다 더 강력한 개인정보 보호 보장을 제공하기 위해.

제안 방법

• 프레임워크는 세 가지 서로 다른 GAN 기반 익명화기로 구성된다: CSE로 검출된 개인용, CSE로 검출되지 않는 개인용, 나머지 얼굴용.
• YFCC100M에서 유도된 신규 대규모 데이터셋인 Flickr Diverse Humans(FDH)는 신뢰도 임계값, 해상도, Grayscale 검출, NIMA 기반 품질 점수, CSE 정점 수, Mask R-CNN와 CSE 세그멘테이션 간 IoU 기반으로 필터링되었다.
• CSE 유도 생성기는 SMPL 기반 신체 모델에서 유도된 픽셀-정점 대응 관계를 활용하여 조밀한 표면 임bedding을 기반으로 익명화를 유도한다.
• 무조건적 풀바디 생성기는 표준 GAN 학습 기법을 사용하여 자세 가이드 없이 다양한 고품질 인간 인물 이미지를 합성한다.
• 얼굴 익명화기는 업데이트된 FDF256 데이터셋으로 학습되었으며, 자세 가이드 없이도 어려운 검출 상황에서도 익명화가 가능하다.
• 스타일 기반 생성기는 GAN 잠복 공간 내에서 글로벌하고 의미 있는 편집을 가능하게 하며, 성별이나 머리카락 색상과 같은 속성의 텍스트 유도 조작을 지원한다.

실험 결과

연구 질문

• RQ1 대규모이고 다양한 데이터셋(FDH)이 기존 데이터셋에 비해 생성된 풀바디 익명화 이미지의 시각적 품질과 다양성에 상당한 향상을 이끌 수 있는가?
• RQ2 CSE, Mask R-CNN, DSFD와 같은 다중 검출 모달을 융합함으로써 익명화를 위한 인간 인물 검출의 강성과 완전성이 향상되는가?
• RQ3 GAN 기반 익명화 프레임워크가 기존 최신 기술 수준의 방법보다 더 높은 이미지 품질과 강력한 개인정보 보호 보장을 달성할 수 있는가?
• RQ4 제안된 GAN의 잠복 공간이 익명화된 신원에 대해 의미 있는 텍스트 유도 편집을 어느 정도 지원하는가?
• RQ5 제안된 프레임워크는 Market1501과 같은 실세계 벤치마크(예: 재식별 작업)에서 어떤 성능을 보이는가?

주요 결과

• 150만 장의 이미지로 구성된 FDH 데이터셋은 이전 데이터셋에 비해 생성된 익명화된 인물의 시각적 품질과 다양성에 상당한 향상을 이끌었다.
• 다중 스트림 익명화 파이프라인은 정성적 및 정량적 평가에서 이전 최신 기술 수준의 방법을 능가하는 뛰어난 이미지 품질과 개인정보 보호 보장을 달성했다.
• CSE가 검출에 실패하더라도 다른 검출 모달과 무조건적 생성기를 활용하여 개인을 성공적으로 익명화할 수 있었다.
• 스타일 기반 GAN은 잠복 공간 내에서 글로벌하고 의미 있는 방향을 통해 익명화된 신원의 텍스트 유도 편집(예: 성별 또는 머리카락 색상 변경)을 가능하게 했다.
• Market1501 벤치마크에서 익명화된 이미지는 강력한 재식별 실패 비율을 기록하여 강력한 개인정보 보호 보장을 입증했다.
• 세그멘테이션 및 검출 정확도 향상으로 이전의 풀바디 GAN에서 흔히 발생하던 시각적 잡음(예: 분리되지 않은 악세서리, 머리카락이나 악세서리가 몸에 '끼워진 것처럼' 보이는 현상)을 줄였다.