[논문 리뷰] An Efficient Membership Inference Attack for the Diffusion Model by Proximal Initialization

Fei Kong, Jinhao Duan외 5명|arXiv (Cornell University)|2023. 05. 26.

Generative Adversarial Networks and Image Synthesis인용 수 10

한 줄 요약

PIA는 근접 초기화(t=0)와 groundtruth 궤적을 사용하여 확산 모델에 대한 빠른 질의 기반 멤버십 추론 공격을 제안하며, 적은 질의로 경쟁력 있는 AUC와 더 높은 TPR@1% FPR을 달성하고 연속 시간 및 오디오 생성 태스크로 확장한다.

ABSTRACT

Recently, diffusion models have achieved remarkable success in generating tasks, including image and audio generation. However, like other generative models, diffusion models are prone to privacy issues. In this paper, we propose an efficient query-based membership inference attack (MIA), namely Proximal Initialization Attack (PIA), which utilizes groundtruth trajectory obtained by $ε$ initialized in $t=0$ and predicted point to infer memberships. Experimental results indicate that the proposed method can achieve competitive performance with only two queries on both discrete-time and continuous-time diffusion models. Moreover, previous works on the privacy of diffusion models have focused on vision tasks without considering audio tasks. Therefore, we also explore the robustness of diffusion models to MIA in the text-to-speech (TTS) task, which is an audio generation task. To the best of our knowledge, this work is the first to study the robustness of diffusion models to MIA in the TTS task. Experimental results indicate that models with mel-spectrogram (image-like) output are vulnerable to MIA, while models with audio output are relatively robust to MIA. {Code is available at \url{https://github.com/kong13661/PIA}}.

연구 동기 및 목표

• 확산 모델의 프라이버시 위험을 고무하고 이미지와 오디오 생성 태스크 모두에서 멤버십 추론 취약성을 평가한다.
• 근접 초기화 공격(PIA)와 그 정규화 형태(PIAN)를 제안하여 t=0에서 시작하는 groundtruth 궤적을 활용해 멤버십을 추론한다.
• 공격을 이산 시간 및 연속 시간 확산 모델로 일반화하고 여러 데이터셋에서 기존 MIAs와 비교한다.
• 텍스트-투-스피치 태스크에서 확산 모델의 멤버십 추론 취약성에 대한 강건성을 조사하고 취약성에 영향을 주는 출력 유형을 식별한다.

제안 방법

• DDIM 기반 groundtruth 궤적을 정의하고 x0와 임의의 xk를 알면 노이즈가 영(0)일 때 궤적이 어떻게 결정되는지 보인다.
• l_p 노름을 사용하여 groundtruth 점과 모델이 예측한 점 사이의 거리를 측정하는 PIA 지표 Rt,p를 제안한다.
• epsilon 출력을 대략 표준 정규 분포로 매핑하기 위한 정규화된 변형인 PIAN를 도입한다.
• 이미지 확산 모델(DDPM 및 Stable Diffusion)과 Grad-TTS에서 PIA/PIAN을 평가하고 Naive Attack 및 SecMI와 비교한다.
• SDE/ODE 형태를 통해 연속 시간 확산 모델에 공격을 적응시키고 대응하는 Rt,p 표현식을 도출한다.
• 질의 기반 설정에서 중간 확산 출력에 접근 가능하다는 가정의 위협 모델을 제시한다.

실험 결과

연구 질문

• RQ1 근접 초기화가 이산 시간 및 연속 시간 확산 모델 모두에서 효율적인 멤버십 추론 공격을 가능하게 할 수 있는가?
• RQ2 이미지 및 오디오 확산 태스크에서 PIA/PIAN이 Naive Attack 및 SecMI와 비교해 AUC 및 TPR@1%FPR 측면에서 어떤 성능을 보이는가?
• RQ3 출력 유형(멜 스펙트로그램 대 오디오)이 텍스트-투-스피치 응용에서 확산 모델의 MIA에 대한 강건성에 영향을 미치는가?
• RQ4 공격을 연속 시간 확산 모델 및 확률 미분방정식(SDE) 기반 형태로 확장할 수 있는가?

주요 결과

• PIA와 PIAN은 Naive Attack 대비 추가 질의 1–2개만으로 경쟁력 있는 AUC와 더 높은 TPR@1%FPR을 달성하고, 많은 설정에서 SecMI를 능가한다.
• Grad-TTS(연속 시간)에서 PIA/PIAN은 SecMI보다 더 높은 TPR@1%FPR을 달성하면서 두 개의 질의와 최소한의 계산( SecMI의 약 3.2%에 불과)으로 달성한다.
• DDPM(이산 시간)에서 PIA/PIAN은 SecMI 대비 TPR@1%FPR를 개선하고, PIAN은 여러 데이터셋에서 현저한 이득을 보인다.
• 안정적 확산 실험에서 PIA는 더 나은 TPR@1%FPR를 보이나 PIAN은 신뢰성이 떨어져 출력 유형과 정규화가 효과에 영향을 미친다는 것을 시사한다.
• 음성 출력 확산 모델(텍스트-투-스피치)은 강건성 차이를 보인다: 멜-스펙트로그램(이미지 유사 출력)이 오디오 출력보다 MIA에 더 취약하다.
• 본 연구는 Grad-TTS, DiffWave, FastDiff에 걸쳐 오디오 확산 모델에서 MIA 강건성 평가를 최초로 수행한 연구이다.