[논문 리뷰] RiDDLE: Reversible and Diversified De-identification with Latent Encryptor

Dongze Li, Wei Wang외 3명|ArXiv.org|2023. 03. 09.

Advanced Steganography and Watermarking Techniques인용 수 11

한 줄 요약

RiDDLE은 StyleGAN2 잠재 공간에서 비밀번호 조건 latent 변환기를 사용하여 얼굴 신원을 암호화하고 복호화하며, 다양하고 고품질이며 가역적인 비식별화를 달성합니다. 데이터가 없는 상태에서도 학습이 가능하며 영상 비식별화를 지원합니다.

ABSTRACT

This work presents RiDDLE, short for Reversible and Diversified De-identification with Latent Encryptor, to protect the identity information of people from being misused. Built upon a pre-learned StyleGAN2 generator, RiDDLE manages to encrypt and decrypt the facial identity within the latent space. The design of RiDDLE has three appealing properties. First, the encryption process is cipher-guided and hence allows diverse anonymization using different passwords. Second, the true identity can only be decrypted with the correct password, otherwise the system will produce another de-identified face to maintain the privacy. Third, both encryption and decryption share an efficient implementation, benefiting from a carefully tailored lightweight encryptor. Comparisons with existing alternatives confirm that our approach accomplishes the de-identification task with better quality, higher diversity, and stronger reversibility. We further demonstrate the effectiveness of RiDDLE in anonymizing videos. Code and models will be made publicly available.

연구 동기 및 목표

• 사진/비디오에서 신원 정보를 보호하되 비식별 특성 및 이미지 활용도를 보존합니다.
• 동일한 비식별 아티팩트를 피하기 위해 다양한 익명 신원을 생성합니다.
• 올바른 비밀번호로 원래 얼굴의 가역적 복구를 가능하게 하고, 잘못된 비밀번호로는 복구를 거부합니다.
• StyleGAN2 잠재 공간과 트랜스포머 기반 잠재 암호화기를 활용하여 엔드-투-엔드 학습합니다.
• 강력한 프라이버시 보장을 바탕으로 이미지 및 비디오 데이터에서 효과를 시연합니다.

제안 방법

• 사전 학습된 반전 인코더로 얼굴 이미지를 StyleGAN2 잠재 공간으로 투영합니다.
• 교차 어텐션으로 잠재 코드와 비밀번호 잠재를 융합하여 암호화된 코드를 생성하는 트랜스포머 기반 잠재 암호화기를 사용합니다.
• 신원 다양성(L_div), 비식별화(L_deid), 신원 회복(L_rec)을 촉진하는 손실과 픽셀/지각/해석/잠재 규제 항들을 포함하여 학습합니다.
• 모든 암호화된 출력 및 잘못 복호화된 출력들 간의 신원 특징 유사성을 최소화하여 다양성을 강제합니다.
• 실제 데이터가 없을 때 무작위 StyleGAN 잠재를 사용하여 데이터-프리 학습을 제공합니다.
• 비밀번호 조건의 다양성과 품질 관리와 함께 이미지 및 비디오에서 비식별화와 복구를 시연합니다.

실험 결과

연구 질문

• RQ1 RiDDLE이 서로 다른 비밀번호로 조건화된 여러 개의 다양하고 고품질의 비식별 얼굴을 생성할 수 있나요?
• RQ2 진짜 신원은 올바른 비밀번호에서만 복구 가능한가요, 잘못된 비밀번호는 다른 그럴듯한 비식별 얼굴을 초래하나요?
• RQ3 잠재 공간 암호화가 비신원 특성(포즈, 표정, 질감)을 보존하고 영상 비식별화를 지원합니까?
• RQ4 개인정보 보호(식별 가능성) 및 활용도(이미지/비디오 품질) 측면에서 RiDDLE은 기존 비식별 방법과 어떻게 비교됩니까?

주요 결과

표/지표	방법	FaceNet CASIA	FaceNet VGGFace2	SphereFace
De-id ↓	Ours	0.016	0.032	0.025
De-id ↓	Ours-DF	0.034	0.037	0.025
De-id ↓	CIAGAN [17]	0.019	0.034	0.010
De-id ↓	FIT [7]	0.042	0.072	0.065
De-id ↓	Personal [4]	0.020	0.042	0.017
Recovery ↑	Ours	0.996	0.998	1.000
Recovery ↑	Ours-DF	0.953	0.949	1.000
Recovery ↑	CIAGAN [17]	0.967	0.974	1.000
Recovery ↑	FIT [7]	0.967	0.974	1.000
Recovery ↑	Personal [4]	0.965	0.965	0.998

• RiDDLE은 여러 백본(FaceNet CASIA/VGGFace2, SphereFace 등)에서 기준선보다 낮은 비식별률과 높은 복구률을 달성합니다.
• 데이터가 없는 상태의 학습은 이미지 품질의 약간의 저하에도 비식별 성능을 보존하는 가능성을 보입니다.
• RiDDLE은 여러 기존 방법(CIAGAN, FIT, DeepPrivacy, Personal)보다 더 높은 품질과 더 다양한 비식별 얼굴을 생성합니다.
• 신원 다양성은 정성적/정량적 분석(FID, 탐지/랜드마크 유틸리티, 신원 임베딩의 t-SNE)을 통해 입증되며, 암호화된 얼굴은 넓은 신원 공간을 차지합니다.
• 비밀번호 보간은 매끄러운 신원 전이를 가능하게 하여 다른 속성을 손상시키지 않으면서 신원 공간에 대한 연속 제어를 검증합니다.
• RiDDLE은 프레임별 잠재 암호화를 적용하고 재구성하여 영상 비식별화를 지원합니다.