[논문 리뷰] Membership Inference of Diffusion Models

Hailong Hu, Jun Pang|arXiv (Cornell University)|2023. 01. 24.

Privacy-Preserving Technologies in Data인용 수 8

한 줄 요약

이 논문은 확산 모델에 대한 멤버십 추론 공격을 연구하고, 손실 기반 및 가능도 기반 공격을 제안하며, 여러 확산 모델과 프라이버시 민감한 데이터셋에서 이를 평가하고 차등 프라이버시로 방어를 검토한다.

ABSTRACT

Recent years have witnessed the tremendous success of diffusion models in data synthesis. However, when diffusion models are applied to sensitive data, they also give rise to severe privacy concerns. In this paper, we systematically present the first study about membership inference attacks against diffusion models, which aims to infer whether a sample was used to train the model. Two attack methods are proposed, namely loss-based and likelihood-based attacks. Our attack methods are evaluated on several state-of-the-art diffusion models, over different datasets in relation to privacy-sensitive data. Extensive experimental evaluations show that our attacks can achieve remarkable performance. Furthermore, we exhaustively investigate various factors which can affect attack performance. Finally, we also evaluate the performance of our attack methods on diffusion models trained with differential privacy.

연구 동기 및 목표

• 확산 모델이 민감한 데이터로 학습될 때의 프라이버시 문제가 제기됨을 동기화한다.
• 두 가지 위협 모델 하에서 확산 모델에 대한 멤버십 추론 공격을 도입하고 형식화한다.
• 확산 모델을 위한 손실 기반 및 가능도 기반 공격 방법을 개발한다.
• 여러 확산 모델 및 데이터셋에 걸친 공격 효과를 평가한다.
• 차등 프라이버시를 통한 방어를 탐색하고 그것이 유용성 및 공격 효과성에 미치는 영향을 분석한다.

제안 방법

• 두 가지 위협 모델을 정의한다: 표적 확산 모델에 대한 접근(손실 기반 공격)과 샘플 가능도에 대한 접근(가능도 기반 공격).
• 이산 SDE(DDPM, SMLD) 및 연속 SDE(VPSDE, VESDE)에 대해 단계별 재구성 손실을 계산하여 손실 기반 공격 지표를 도출한다.
• 확산 모델의 로그 우도 공식을 사용하고 필요한 발산 항을 계산하기 위해 Skilling-Hutchinson 트레이스 추정기를 이용한 가능도 기반 공격을 정의한다.
• FFHQ-1k 및 DRD에서 학습된 네 가지 확산 모델(DDPM, SMLD, VPSDE, VESDE)에 공격을 적용하고 FID 및 ROC 기반 프라이버시 지표로 평가한다.
• 확산 단계, 데이터셋 크기 및 DP-SGD 방어가 공격 성능에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 멤버십 추론이 확산 모델의 학습 데이터 소속 여부를 밝힐 수 있는가?
• RQ2 다양한 확산 모델 및 확산 단계에서 손실 기반과 가능도 기반 공격의 성능은 어떻게 나타나는가?
• RQ3 학습 데이터 크기가 멤버십 누출에 어떤 영향을 미치는가?
• RQ4 차등 프라이버시가 확산 모델의 멤버십 누출을 완화하는가, 그리고 데이터 유용성과의 트레이드오프는 어떤가?

주요 결과

• 손실 기반 공격은 확산 단계 전반에서 매우 낮은 FPR에서도 높은 TPR을 달성할 수 있으며, 예를 들어 FFHQ-1k에서 200단계의 DDPM에 대해 0.01% FPR에서 최대 100% TPR까지 가능하다.
• 가능도 기반 공격은 강한 누출을 보이며 FPR 전반에서 높은 TPR을 보인다. 예를 들어 FFHQ에서 SMLD는 모든 FPR에서 100% TPR, VPSDE/VESDE에서도 높은 TPR.
• 누출은 저잡음 확산 단계에서 가장 강하며 학습 데이터 크기가 커질수록 약화된다. 더 큰 데이터셋에서도 일부 단계는 여전히 취약하다.
• 의료 데이터셋 DRD에서도 유사한 취약성 패턴이 나타나며 특정 확산 단계에서 강한 누출이 관찰된다.
• DP-SGD는 누출을 감소시키지만 모델 유용성을 크게 저하시키며(FID 변화가 큼), 프라이버시-유용성 트레이드오프를 시사한다.
• DP-SGD로 학습된 모델은 극히 낮은 FPR에서도 여전히 일부 누출이 나타나지만 크게 완화된다.