[논문 리뷰] Are Diffusion Models Vulnerable to Membership Inference Attacks?

Jinhao Duan, Fei Kong외 3명|arXiv (Cornell University)|2023. 02. 02.

Generative Adversarial Networks and Image Synthesis인용 수 12

한 줄 요약

논문은 GAN/VAE에 대한 기존 MIA가 확산 모델에 대해 크게 실패하는 경향이 있음을 보여주고, SecMI를 도입한다. 이는 DDPM, LDMs, Stable Diffusion를 포함한 확산 모델의 멤버십을 효과적으로 추정하는 단계별 오차 기반의 쿼리 주도 MIA이다.

ABSTRACT

Diffusion-based generative models have shown great potential for image synthesis, but there is a lack of research on the security and privacy risks they may pose. In this paper, we investigate the vulnerability of diffusion models to Membership Inference Attacks (MIAs), a common privacy concern. Our results indicate that existing MIAs designed for GANs or VAE are largely ineffective on diffusion models, either due to inapplicable scenarios (e.g., requiring the discriminator of GANs) or inappropriate assumptions (e.g., closer distances between synthetic samples and member samples). To address this gap, we propose Step-wise Error Comparing Membership Inference (SecMI), a query-based MIA that infers memberships by assessing the matching of forward process posterior estimation at each timestep. SecMI follows the common overfitting assumption in MIA where member samples normally have smaller estimation errors, compared with hold-out samples. We consider both the standard diffusion models, e.g., DDPM, and the text-to-image diffusion models, e.g., Latent Diffusion Models and Stable Diffusion. Experimental results demonstrate that our methods precisely infer the membership with high confidence on both of the two scenarios across multiple different datasets. Code is available at https://github.com/jinhaoduan/SecMI.

연구 동기 및 목표

• GAN/VAEs용으로 설계된 기존 멤버십 추론 공격(MIAs)이 확산 모델에 적용되는지 평가합니다.
• 확산 모델(DDPM, Latent Diffusion Models, Stable Diffusion)을 기존의 MIA와 대조하여 평가합니다.
• 전방 프로세스 사후 추정을 활용한 확산 특화 MIA를 개발합니다.
• 다양한 데이터세트와 확산 모델 변형에 걸친 SecMI의 효과성을 입증합니다.

제안 방법

• 생성 모델용으로 설계된 다섯 가지 MIA를 CIFAR-10 분할 및 필요 시 그림자 모델을 사용해 확산 모델에서 검토·평가합니다.
• SecMI를 개발합니다. 이는 확산 타임스텝 간 단계별 사후 추정 오차를 비교하는 쿼리 기반 MIA입니다.
• 사후 추정 오차를 근사하는 t-error 지표를 형식화하고 학습 목표 조건에서 수렴을 증명합니다.
• SecMI를 두 가지 변형으로 구현합니다: SecMI stat(통계적 임계값 설정) 및 SecMI NNs(신경망 기반 추론).
• SecMI를 Latent Diffusion Models 및 Stable Diffusion과 같은 대규모 텍스트-이미지 확산 모델로 확장합니다.

실험 결과

연구 질문

• RQ1 GAN/VAEs용 기존 MIA가 확산 모델에서 멤버십을 효과적으로 공개하는가?
• RQ2 확산 특화 MIA가 전방 프로세스 사후 추정을 활용해 멤버십을 드러낼 수 있는가?
• RQ3 SecMI가 표준 DDPM, Latent Diffusion Models, Stable Diffusion에서 여러 데이터세트에 대해 얼마나 잘 작동하는가?
• RQ4 학습 역학 및 데이터 증강이 SecMI의 효과에 미치는 영향은 무엇인가?

주요 결과

• 기존 MIA는 표준 평가 설정에서 확산 모델의 멤버십을 드러내는 데 크게 실패하는 경향이 있습니다.
• SecMI는 단계별 오차 기반의 MIA로 확산 모델과 데이터세트에 대해 높은 공격 성공률과 구분 지표를 달성합니다.
• SecMI 변형은 통계 기반 추론과 신경망 기반 추론 모두에서 강력한 성능을 보입니다.
• SecMI는 Latent Diffusion Models 및 대규모 사전 학습된 Stable Diffusion 모델로 일반화됩니다.
• 데이터 증강은 SecMI의 효과를 약간 감소시킬 수 있으며, 일부 방어(예: 공격적인 DP 학습)가 모델 수렴을 방해할 수 있습니다.