[논문 리뷰] DeepBlur: A Simple and Effective Method for Natural Image Obfuscation

Tao Li, Min S. Choi|arXiv (Cornell University)|2021. 03. 31.

Digital Media Forensic Detection참고 문헌 50인용 수 6

한 줄 요약

DeepBlur는 사전 훈련된 생성 모델의 잠재공간에서 블러링을 적용하여 이미지 품질을 유지하면서도 인간과 딥러닝 시스템 모두가 얼굴 인식을 효과적으로 방지할 수 있도록 하는 새로운 이미지 흐림 처리 방법을 제안한다. 잠재공간 스무딩과 최적화된 잠재 표현 검색을 활용하여 낮은 계산 비용으로 뛰어난 방어 성능을 달성한다.

ABSTRACT

There is a growing privacy concern due to the popularity of social media and surveillance systems, along with advances in face recognition software. However, established image obfuscation techniques are either vulnerable to re-identification attacks by human or deep learning models, insufficient in preserving image fidelity, or too computationally intensive to be practical. To tackle these issues, we present DeepBlur, a simple yet effective method for image obfuscation by blurring in the latent space of an unconditionally pre-trained generative model that is able to synthesize photo-realistic facial images. We compare it with existing methods by efficiency and image quality, and evaluate against both state-of-the-art deep learning models and industrial products (e.g., Face++, Microsoft face service). Experiments show that our method produces high quality outputs and is the strongest defense for most test cases.

연구 동기 및 목표

• 광범위한 이미지 공유와 발전된 얼굴 인식 시스템으로 인한 증가하는 개인정보 위협을 해결한다.
• 딥러닝 기반 재식별에 취약한 기존의 흐림 처리 방법(예: 픽셀화, 가우시안 블러)의 한계를 극복한다.
• 인간과 기계 공격자 모두에 대해 효과적이면서도 계산 비용이 낮고 높은 시각적 품질을 유지하는 방법을 개발한다.
• 공격자의 모델이나 인식 시스템에 대한 가정 없이도 작동하는 방어 메커니즘을 제공한다.

제안 방법

• 사진 수준의 얼굴을 합성하기 위해 조건부가 아닌 사전 훈련된 생성 모델(예: StyleGAN)을 사용한다.
• 잠재공간 인코딩 전에 입력 이미지에 대해 얼굴 정렬 및 정규화를 수행한다.
• 기울기 전파 가능한 이미지 재구성 손실을 사용하여 입력 얼굴을 재구성할 수 있는 잠재 코드를 최적화한다.
• 잠재공간에 저역통과 필터(예: 가우시안)를 적용하여 신원 관련 특징을 스무딩하고 '딥 블러드(Deep Blurred)' 표현을 생성한다.
• 동일한 생성 모델을 통해 스무딩된 잠재 코드를 디코딩하여 최종 흐림 처리된 이미지를 생성한다.
• 더 빠른 수렴을 위해 '평균 얼굴' 잠재 코드에서 초기화된 2차 최적화(예: L-BFGS)를 사용하여 빠르고 안정적인 잠재 코드 검색을 수행한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 GAN에서 잠재공간 블러링이 기존의 이미지 블러링이나 픽셀화보다 딥러닝 기반 얼굴 인식에 더 강력한 방어를 제공할 수 있는가?
• RQ2 DeepBlur는 인식 시도가 있더라도 여전히 높은 시각적 품질을 유지하면서 신원을 효과적으로 은폐할 수 있는가?
• RQ3 DeepBlur는 인간 관찰자와 최신 상용 얼굴 인식 API(예: Face++, Microsoft Face Service) 모두에 대해 어떻게 성능을 발휘하는가?
• RQ4 GAN 기반 편집이나 적대적 노이즈 방법과 비교해 DeepBlur의 계산 효율성은 어떠한가?
• RQ5 잠재공간 스무딩을 통해 수동 조작 없이도 마스크나 액세서리와 같은 의미 수준의 잡음이나 장애물을 제거할 수 있는가?

주요 결과

• DeepBlur는 가우시안 블러, 픽셀화, 마스킹, 적대적 노이즈와 같은 기존 방법보다 딥러닝 모델과 인간 관찰자 모두의 인식을 효과적으로 저지한다.
• 방법론은 시각적 품질이 매우 높으며, 정성적 비교와 사용자 연구를 통해 시각적 열화가 최소한임을 입증한다.
• 실험 결과, DeepBlur는 Face++ 및 Microsoft Face API와 같은 산업용 얼굴 인식 서비스에 대해서도 대부분의 테스트 케이스에서 가장 강력한 방어 성능을 보였다.
• L-BFGS 최적화를 통해 잠재 코드 검색이 매우 빠르게 수렴되며, 최소 10단계 내에 거의 동일한 재구성을 달성할 수 있었다.
• 잠재공간에서의 깊은 블러링은 워터마크, 머리카락, 소매와 같은 요소를 의미적으로 제거할 수 있으며, 이는 GAN 잠재공간의 연속성과 선형성을 시사한다.
• 잠재공간에서 매우 큰 커널 크기를 적용하면 다양한 입력에 대해 거의 동일한 '평균 얼굴'이 생성되며, 이는 잠재공간의 스무딩성과 구조적 안정성을 확인한다.