[논문 리뷰] Differentially Private Imaging via Latent Space Manipulation

Tao Li, Chris Clifton|arXiv (Cornell University)|2021. 03. 08.

Face recognition and analysis참고 문헌 31인용 수 8

한 줄 요약

이 논문은 생성 모델의 잠재 공간에 노이즈를 추가함으로써 이미지 내 개인을 보호하는, 차별적 비공식 이미지 왜곡의 첫 번째 방법을 제안한다. 이 방법은 형식적인 $\varepsilon$-차별적 비공식성 보장을 보장하면서도 시각적 품질과 의미적 충실도를 유지한다. 접근 방식은 잠재 공간 클리핑과 라플라스 기반 노이즈 주입을 통해 비밀유지와 현실성의 균형을 이루며, 재식별 공격에 저항하는 고품질의 익명화된 얼굴 이미지를 생성한다.

ABSTRACT

There is growing concern about image privacy due to the popularity of social media and photo devices, along with increasing use of face recognition systems. However, established image de-identification techniques are either too subject to re-identification, produce photos that are insufficiently realistic, or both. To tackle this, we present a novel approach for image obfuscation by manipulating latent spaces of an unconditionally trained generative model that is able to synthesize photo-realistic facial images of high resolution. This manipulation is done in a way that satisfies the formal privacy standard of local differential privacy. To our knowledge, this is the first approach to image privacy that satisfies $\varepsilon$-differential privacy \emph{for the person.}

연구 동기 및 목표

• 흐림 처리나 픽셀화와 같은 전통적인 이미지 왜곡 방법의 한계를 해결하기 위해, 이러한 방법들이 개인의 프라이버시를 보호하지 못하고 이미지의 유용성을 떨어뜨린다는 점을 해결한다.
• 개인 수준에서 $\varepsilon$-차별적 비공식성을 정의함으로써, 픽셀 수준이 아닌 개인 수준에서 형식적인 프라이버시 보장을 제공한다.
• 재식별 공격에 저항하면서도 시각적 품질과 의미적 충실도를 유지하는 왜곡된 이미지를 확보한다.
• 생성 모델을 사용하여 실생활 적용이 가능한 차별적 비공식 이미징의 실용적 프레임워크를 개발한다.
• 잠재 공간 내에서 노이즈와 클리핑을 제어함으로써 비밀유지($\varepsilon$로 제어됨)와 이미지 충실도 사이의 트레이드오프를 탐색한다.

제안 방법

• 사전 훈련된 StyleGAN 모델을 사용해 입력 이미지를 잠재 공간으로 인코딩함으로써 의미 수준의 조작을 가능하게 한다.
• 라플라스 기반 메커니즘을 적용해 잠재 벡터에 노이즈를 추가함으로써, 이미지 내 개인에 대해 $\varepsilon$-차별적 비공식성을 확보한다.
• 잠재 표현의 민감도를 제한하기 위해 클리핑 단계를 도입함으로써 형식적인 비밀유지 보장을 가능하게 하고 이미지 품질을 향상시킨다.
• 개인화된 잠재 벡터를 생성기로 디코딩하여, 차별적 비공식성과 사실적인 출력 이미지를 생성한다.
• 비밀유지 예산 $\varepsilon$는 잠재 성분들 간에 분배되며, 총 비밀유지 손실은 개별 기여도의 합으로 계산된다.
• 노이즈 스케일과 클리핑 임계값을 조정함으로써 다양한 비밀유지-유용성 트레이드오프를 지원한다.

실험 결과

연구 질문

• RQ1 이미지의 개인 수준에서가 아니라 픽셀 수준에서가 아니라, 차별적 비공식성을 형식적으로 적용할 수 있는가?
• RQ2 잠재 공간 조작은 어떻게 의미적 및 시각적 품질을 유지하면서도 강력한 비밀유지 보장을 확보할 수 있는가?
• RQ3 잠재 공간 내 클리핑이 이미지 충실도와 비밀유지 강건성에 어떤 영향을 미치는가?
• RQ4 다양한 비밀유지 예산($\varepsilon$)은 비밀유지와 이미지 품질 사이의 트레이드오프에 어떻게 영향을 미치는가?
• RQ5 랜덤화된 잠재 공간 변형은 재식별 공격을 방지하면서도 현실적인 이미지 출력을 유지할 수 있는가?

주요 결과

• 제안된 방법은 이미지 내 개인에 대해 $\varepsilon$-차별적 비공식성을 달성하였으며, 개인 수준에서 이러한 비밀유지를 형식적으로 정의한 최초의 사례이다.
• 잠재 공간을 25% 및 75% 분위수에서 클리핑함으로써 이미지 품질과 노이즈에 대한 강건성이 크게 향상되었으며, 클리핑이 없는 설정에 비해 왜곡이 감소했다.
• 비밀유지 예산 $\varepsilon$가 증가할수록 PSNR, SSIM, FID 지표가 향상되어 픽셀 수준의 왜곡이 감소하고 원본 이미지와의 의미적 유사도가 높아짐을 나타낸다.
• 낮은 $\varepsilon$ (높은 노이즈) 조건에서도 생성된 이미지가 인간 얼굴로 인식 가능하며, 표정과 자세와 같은 핵심 의미적 특징을 유지한다.
• 동일한 이미지의 여러 개인화된 출력은 무작위성으로 인해 서로 다름을 보이며, 이는 메커니즘이 재구성 공격에 저항한다는 것을 입증한다.
• 적절한 $\varepsilon$가 제공되면 높은 시각적 품질을 유지하며, $\varepsilon$가 크면(예: $\varepsilon = \infty$) FID 점수는 원본 이미지에 가까워진다.