[논문 리뷰] Latent Diffusion Models for Attribute-Preserving Image Anonymization

Luca Piano, Pietro Basci외 2명|arXiv (Cornell University)|2024. 03. 21.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 얼굴, 몸체, 배경을 익명화하면서도 의미적 콘텐츠를 유지하는 데에 초점을 맞춘, 처음으로 잠재 확산 모델(LDM) 기반의 프레임워크인 CAMOUFLaGE를 소개한다. CAMOUFLaGE-Base에서는 ControlNets와 새로운 익명화 가중치 기반 메커니즘을 활용하고, CAMOUFLaGE-Light에서는 경량형 IP-Adapter를 사용하여, 이미지의 정밀도 손실을 최소화하면서도 우수한 신원 익명화 성능을 달성하며, FID, Visual DNA 및 하류 작업 정확도 측면에서 최신 기술들을 능가한다.

ABSTRACT

Generative techniques for image anonymization have great potential to generate datasets that protect the privacy of those depicted in the images, while achieving high data fidelity and utility. Existing methods have focused extensively on preserving facial attributes, but failed to embrace a more comprehensive perspective that considers the scene and background into the anonymization process. This paper presents, to the best of our knowledge, the first approach to image anonymization based on Latent Diffusion Models (LDMs). Every element of a scene is maintained to convey the same meaning, yet manipulated in a way that makes re-identification difficult. We propose two LDMs for this purpose: CAMOUFLaGE-Base exploits a combination of pre-trained ControlNets, and a new controlling mechanism designed to increase the distance between the real and anonymized images. CAMOFULaGE-Light is based on the Adapter technique, coupled with an encoding designed to efficiently represent the attributes of different persons in a scene. The former solution achieves superior performance on most metrics and benchmarks, while the latter cuts the inference time in half at the cost of fine-tuning a lightweight module. We show through extensive experimental comparison that the proposed method is competitive with the state-of-the-art concerning identity obfuscation whilst better preserving the original content of the image and tackling unresolved challenges that current solutions fail to address.

연구 동기 및 목표

• 기존의 이미지 익명화 기법들이 블러링 등의 방식으로 이미지를 왜곡하거나, GAN 기반 합성 방식으로 장면 구성까지 변경함으로써 데이터 활용도와 프라이버시를 해칠 수 있는 한계를 해결하기 위해.
• 신원 재식별을 방지하면서도 얼굴 특징, 옷차림, 제스처, 배경 요소 등의 의미적 콘텐츠를 유지하는 프라이버시 보호 기반의 이미지 익명화 프레임워크를 개발하기 위해.
• 특히 Stable Diffusion를 포함한 잠재 확산 모델(LDM)을 활용하여 종단 간 이미지 익명화를 수행할 수 있는지의 타당성과 효율성을 탐색하기 위해.
• 핵심 시각적 요소에 미세한 프라이버시 향상 방향의 교란을 도입함으로써 강력한 익명화와 높은 데이터 활용도 사이의 균형을 이루기 위해.
• 다양한 벤치마크와 하류 작업을 통해 평가하여, 실제 환경에서의 강건성과 실용성을 입증하기 위해.

제안 방법

• CAMOUFLaGE-Base는 사전 학습된 ControlNets와 새로운 익명화 가중치 기반 메커니즘을 활용하여, 의미적 콘텐츠를 유지하면서도 실제 이미지와 익명화된 이미지 간의 분포 거리를 증가시킨다.
• 익명화 가중치는 원본 이미지를 기반으로 하며, 잠재 확산 모델의 노이즈 제거 과정 중에 적용되어 얼굴 특징과 신체 부위를 미세하게 수정한다.
• CAMOUFLaGE-Light는 어댑터 기법을 사용하여 얼굴 특징과 장면 요소를 인코딩하는 경량 모듈을 미세조정함으로써, 성능 저하를 최소화하면서도 빠른 추론 속도를 달성한다.
• 두 모델 모두 원본 이미지에 조건을 두고 텍스트 프롬프트를 사용하여 생성 과정을 안내함으로써 원본 이미지와 의미적 일致성을 유지한다.
• 이 프레임워크는 인painting 방식이 아닌 노이즈에서부터 전체 이미지를 생성함으로써 배경 복원을 통한 재식별 가능성을 방지한다.
• 이중 평가 전략을 사용한다: FID와 Visual DNA는 이미지 품질과 특징 일致성 평가에 사용하고, 하류 작업(예: 얼굴 특징 분류, 캡션 생성)은 데이터 활용도 평가에 사용한다.

실험 결과

연구 질문

• RQ1 잠재 확산 모델은 얼굴 및 장면 특징을 유지하면서도 효과적으로 이미지 익명화에 적합하게 활용될 수 있는가?
• RQ2 제안된 방법은 재식별 위험과 이미지 정밀도 측면에서 인painting 기반 및 GAN 기반 익명화 기법들과 비교해 어떻게 성능을 냈는가?
• RQ3 경량형 어댑터 기반 아키텍처(CAMOUFLaGE-Light)는 전체 아키텍처 기반 기준(CAMOUFLaGE-Base) 대비 추론 시간을 줄이면서도 성능을 얼마나 유지할 수 있는가?
• RQ4 배경, 옷차림, 제스처 등의 의미적 콘텐츠를 유지하는 것이 하류 기계 학습 작업에 대한 익명화된 이미지의 활용도를 향상시키는가?
• RQ5 익명화 가중치 기반 메커니즘이 왜곡된 시각적 품질을 떨어뜨리지 않으면서도 실제 이미지와 익명화된 이미지 간의 거리를 얼마나 효과적으로 증가시키는가?

주요 결과

• CAMOUFLaGE-Base는 LFW 및 CelebA-HQ 포트레이트 데이터셋에서 FALCO 및 DP2보다 낮은 FID 점수를 기록하여 더 높은 이미지 품질과 낮은 분포 분산을 나타낸다.
• CelebA-HQ 데이터셋에서, CAMOUFLaGE-Light는 익명화된 이미지에 대해 미세조정한 결과 내부 얼굴 특징에 대해 AUC 0.890, 외부 얼굴 특징에 대해 AUC 0.919를 기록하였으며, 원본 데이터 성능(0.904 및 0.922)에 매우 가까운 성능을 보였다.
• CAMOUFLaGE-Light는 768² 해상도에서 1장당 추론 시간을 2.8초로 줄여 CAMOUFLaGE-Base(10.8초/장) 대비 3.8배 빠른 속도를 달성했다.
• Visual DNA 거리 측정치는 CAMOUFLaGE-Light가 FALCO보다 실제 이미지와 익명화된 이미지 쌍 간의 의미 일치성을 더 잘 유지하고 있음을 보여주며, 더 나은 특징 유지 능력을 입증한다.
• 캡션 생성 및 외부 얼굴 특징 예측 작업에서 CAMOUFLaGE-Light는 CLIP 점수 0.83과 AUC 0.980을 기록하여 FALCO 및 DP2를 모두 능가했다.
• 익명화된 이미지에서 인종 분류 정확도는 CAMOUFLaGE가 Ours-Base(0.777), Ours-Light(0.758)로 FALCO(0.654)보다 높았으며, 이는 더 나은 인구 통계적 특징 유지 능력을 시사한다.