[논문 리뷰] Data Forensics in Diffusion Models: A Systematic Analysis of Membership Privacy

Derui Zhu, Dingfan Chen외 2명|arXiv (Cornell University)|2023. 02. 15.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 확산 모델에 대한 멤버십 추론 공격(MIAs)에 대한 첫 번째 체계적 분석을 제시하며, 고정된 공개 인코딩과 반복적 생성과 같은 모델의 고유한 아키텍처적 특성을 활용하는 새로운 공격 방법을 제안한다. 이 공격 방법은 쉽게 확보할 수 있는 중간 출력을 사용하여 실용적인 GRAY-박스 및 블랙박스 환경에서도 거의 완벽한 성능(AUCROC > 0.9)을 달성하며, 실제 운영 환경에서의 심각한 프라이버시 위험을 드러낸다.

ABSTRACT

In recent years, diffusion models have achieved tremendous success in the field of image generation, becoming the stateof-the-art technology for AI-based image processing applications. Despite the numerous benefits brought by recent advances in diffusion models, there are also concerns about their potential misuse, specifically in terms of privacy breaches and intellectual property infringement. In particular, some of their unique characteristics open up new attack surfaces when considering the real-world deployment of such models. With a thorough investigation of the attack vectors, we develop a systematic analysis of membership inference attacks on diffusion models and propose novel attack methods tailored to each attack scenario specifically relevant to diffusion models. Our approach exploits easily obtainable quantities and is highly effective, achieving near-perfect attack performance (>0.9 AUCROC) in realistic scenarios. Our extensive experiments demonstrate the effectiveness of our method, highlighting the importance of considering privacy and intellectual property risks when using diffusion models in image generation tasks.

연구 동기 및 목표

• 확산 모델이 상용 및 공공용 이미지 생성 시스템에서 점점 더 널리 사용됨에 따라, 이러한 모델에 특화된 멤버십 추론 공격(MIA) 위험을 체계적으로 조사하는 것.
• 고정된 인코딩과 반복적 생성과 같은 아키텍처적 및 구현 특성으로 인해 발생하는 고유한 공격 벡터를 특정하고 분석하는 것.
• 백색, GRAY-박스, 블랙박스 설정과 같은 실제 운영 환경에 맞는 새로운 실용적인 MIA 방법을 개발하는 것 — 쉽게 접근 가능한 모델 출력 기반으로.
• 다양한 데이터 분포, 모델 아키텍처, 학습 설정에서 이러한 공격의 효과성을 평가하여 프라이버시 유출의 심각성을 부각하는 것.

제안 방법

• 공격는 확산 모델의 반복적 노이즈 제거 과정 중에 생성되는 중간 잠재 표현을 활용하며, 이는 표준 추론 파이프라인에서 공개적으로 접근 가능한 것으로 간주된다.
• 공격는 목표 모델의 생성 과정에서 샘플의 가능도를 비교하는 학습된 또는 히우리스틱 기반 함수를 사용하여 멤버십 점수를 계산한다. 이는 모델의 고정된 공개 인코딩 메커니즘의 특성을 악용한다.
• 이 방법은 백색(모델 전체 접근 가능), GRAY-박스(중간 출력에 제한된 접근), 블랙박스(최종 이미지 출력만 제공)의 세 가지 공격 시나리오에서 실용적이고 효과적으로 작동하도록 설계되었다.
• 주요 개선 사항으로는 특히 GRAY-박스 환경에서의 성능 향상을 위해, 공격 성능을 향상시키기 위한 절단(Truncation) 및 校정(Calibration) 기법이 포함되어 있다.
• 실제로 사전 학습된 모델(Stable Diffusion v1.4 및 v1.5)과 표준 벤치마크(COCO-2017 및 LAION-2B)를 사용하여 공격를 평가하였으며, AUCROC, F1-score, 1% FPR에서의 TPR 등의 지표를 사용하였다.
• 이론적 및 실증적 분석을 통해 공격의 높은 성능가 모델의 고정된 공개 인코딩과 다중 확산 단계 간의 정보 泄露에 기인함을 확인하였다.

(a) Distribution of $\mathcal{L}_{t}$

실험 결과

연구 질문

• RQ1 확산 모델의 고정된 인코딩과 반복적 생성 과정으로 인해 발생하는, 다른 생성 모델에는 존재하지 않는 고유한 공격 벡터는 무엇인가?
• RQ2 일반적인 API 배포 환경에서 최종 이미지가 아닌 중간 잠재 상태만 접근 가능한 상황에서 멤버십 추론 공격의 효과성은 어떠한가?
• RQ3 최종 생성 이미지만 제공되는 블랙박스 환경에서도 멤버십 추론 공격가 높은 성능를 달성할 수 있는가? 이는 GRAY-박스 및 백색 설정과 비교해 볼 때 어떻게 다른가?
• RQ4 데이터 분포, 모델 아키텍처, 학습 설정과 같은 요소들이 확산 모델에서 멤버십 추론의 성공에 영향을 미치는 주요 요인는 무엇인가?
• RQ5 차별적 프라이버시나 모델 가림과 같은 기존 방어 기법은 이러한 공격의 효과성에 어떤 영향을 미치며, 그에 따른 상충 관계는 무엇인가?

주요 결과

• 제안된 멤버십 추론 공격는 stable-diffusion-v1.4에서 AUCROC 0.73, stable-diffusion-v1.5에서 0.74를 기록하며, 기준 성능을 크게 초월한다.
• 1%의 위양성률(FPR)에서 참양성률(TPR)은 v1.4에서 24.21%, v1.5에서 25.66%에 도달하여, 엄격한 오류 제약 조건 하에서도 멤버십 탐지 능력이 뛰어나다는 것을 시사한다.
• 중간 확산 단계만 접근 가능한 GRAY-박스 환경에서도 공격가 여전히 높은 효과성을 유지하며, 생성 과정 전반에 걸쳐 정보 유출가 발생한다는 것을 입증한다.
• 절단 및 校정 기법의 사용은 비이상적이고 현실적인 환경에서의 공격 성능을 크게 향상시키며, 강인성과 실용성을 강화한다.
• 확산 모델의 고정된 공개 인코딩 메커니즘은 공격자가 정확한 모의를 수행할 수 있도록 하며, 다른 모델에서 인코딩을 추정해야 하는 것과는 달리, 이는 확산 모델이 고유하게 취약한 이유를 제공한다.
• 차별적 프라이버시가 방어 수단으로서 잠재적 잠재력이 있음에도 불구하고, 이는 모델의 유용성을 떨어뜨리며, 확산 모델에서 사용되는 복잡하고 고해상도 데이터셋에는 아직 실용적이지 않다.

(b) Distribution of $\widehat{\mathcal{L}_{t}}$