[논문 리뷰] White-box Membership Inference Attacks against Diffusion Models

Yan Pang, Tianhao Wang외 3명|arXiv (Cornell University)|2023. 08. 11.

Generative Adversarial Networks and Image SynthesisComputer Science인용 수 3

한 줄 요약

이 논문은 손실 대신 기울기 기반 특징을 사용하여 확산 모델에 대한 새로운 화이트박스 멤버십 인식 공격을 제안하며, 다양한 모델과 데이터셋에서 거의 완벽한 공격 성공률(최대 100%)과 AUCROC 값이 1.0에 가까운 성능을 달성하여, 기울기가 손실만으로는 더 민감한 모델 과적합 지표임을 입증한다.

ABSTRACT

Diffusion models have begun to overshadow GANs and other generative models in industrial applications due to their superior image generation performance. The complex architecture of these models furnishes an extensive array of attack features. In light of this, we aim to design membership inference attacks (MIAs) catered to diffusion models. We first conduct an exhaustive analysis of existing MIAs on diffusion models, taking into account factors such as black-box/white-box models and the selection of attack features. We found that white-box attacks are highly applicable in real-world scenarios, and the most effective attacks presently are white-box. Departing from earlier research, which employs model loss as the attack feature for white-box MIAs, we employ model gradients in our attack, leveraging the fact that these gradients provide a more profound understanding of model responses to various samples. We subject these models to rigorous testing across a range of parameters, including training steps, sampling frequency, diffusion steps, and data variance. Across all experimental settings, our method consistently demonstrated near-flawless attack performance, with attack success rate approaching 100% and attack AUCROC near 1.0. We also evaluate our attack against common defense mechanisms, and observe our attacks continue to exhibit commendable performance.

연구 동기 및 목표

• 확산 모델이 멤버십 인식 공격(MIAs)에 취약한 보안 문제를 해결하기 위해, 특히 실제 화이트박스 환경에서의 공격를 다루기 위해.
• 모델 손실보다 기울기 정보가 훈련 데이터 내 멤버십을 탐지하는 데 더 효과적인 신호를 제공하는지 조사하기 위해.
• 공격 성능을 유지하면서도 고차원 기울기 데이터를 줄이는 계산 효율적인 프레임워크를 설계하기 위해.
• 일반적인 방어 기법에 대한 제안된 공격의 강건성 평가하기 위해.
• 다양한 아키텍처와 데이터셋에서 기울기 기반 특징을 사용하여 확산 모델의 멤버십 인식에 대한 새로운 벤치마크 수립하기 위해.

제안 방법

• 백프로파게이션 후 기울기를 공격 특징으로 사용하는 기울기 기반 멤버십 인식 공격 프레임워크인, 서브샘플링 및 집계 기반 기울기 공격(GSA)을 제안한다.
• 정확도와 계산 비용의 균형을 맞추기 위해 기울기 서브샘플링 및 집계 전략이 다른 두 가지 변형인 GSA₁과 GSA₂를 도입한다.
• 대규모 확산 모델에서 기울기의 고차원 성격을 관리하기 위해 공간적 및 채널 기반 풀링을 통해 차원 축소를 적용한다.
• 특정 레이어의 기울기 L2 노름을 공격 분류기의 입력으로 사용하여 훈련 샘플과 비훈련 샘플을 구분한다.
• 공격 중에 전체 모델 파arameter와 기울기 계산이 가능하다는 화이트박스 설정을 사용한다.
• CIFAR-10, ImageNet, MS COCO 데이터셋을 사용하여 무조건적 DDPM과 최신 텍스트-이미지 Imagen 모델 모두에서 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 확산 모델의 기울기 정보가 멤버십 인식 공격에 있어 모델 손실보다 더 효과적인 특징이 될 수 있는가?
• RQ2 DDPM과 Imagen와 같은 다양한 모델 아키텍처에서 기울기 기반 MIAs의 성능은 어떻게 변하는가?
• RQ3 학습 스텝, 샘플링 빈도, 확산 스텝과 같은 하이퍼파ram터가 공격 성공률에 미치는 영향은 무엇인가?
• RQ4 제안된 GSA 프레임워크는 높은 공격 정확도를 유지하면서도 계산 오버헤드를 얼마나 효과적으로 줄이는가?
• RQ5 기본 방어 기법인 프rivacy distillation과 모델 파인튜닝에 대해 기울기 기반 MIAs는 얼마나 내성적인가?

주요 결과

• 제안된 기울기 기반 공격는 평가된 모든 설정에서 거의 100%의 멤버십 인식 성공률를 기록하였으며, 최신 Imagen 모델에서도 마찬가지였다.
• 공격의 AUCROC 값은 항상 1.0에 가까워, 훈련 샘플과 비훈련 샘플을 거의 완벽하게 구분함을 나타낸다.
• 기존의 손실 기반 화이트박스 MIAs보다 우수한 안정성과 정확도를 보이며, 다양한 데이터셋과 모델 구성에서 뛰어난 성능을 보였다.
• GSA 프레임워크는 성능 저하를 최소화하면서도 기울기 차원을 성공적으로 축소하여 대규모 모델에서의 효율적 구현을 가능하게 하였다.
• 기본 방어 기법인 프라이버시 디스틸레이션과 워터마킹이 적용된 경우에도 공격는 효과적으로 유지되어 현재의 방어 전략의 효율성이 제한적임을 시사한다.
• 기울기 정보는 손실보다 더 세밀하고 민감한 모델 과적합 지표를 제공함을 입증하여 연구의 핵심 가설을 뒷받침한다.