[논문 리뷰] Membership Inference Attacks Against Text-to-image Generation Models

Yixin Wu, Yu Ning외 3명|arXiv (Cornell University)|2022. 10. 03.

Privacy-Preserving Technologies in Data인용 수 20

한 줄 요약

본 논문은 텍스트-투-이미지 생성 모델에서의 멤버십 추론을 분석하고, 이미지가 모델의 학습 데이터에 포함되었는지 여부를 추론하는 네 가지 공격을 제안하며, 의미 수준의 방법이 높은 정확도를 보인다.

ABSTRACT

Text-to-image generation models have recently attracted unprecedented attention as they unlatch imaginative applications in all areas of life. However, developing such models requires huge amounts of data that might contain privacy-sensitive information, e.g., face identity. While privacy risks have been extensively demonstrated in the image classification and GAN generation domains, privacy risks in the text-to-image generation domain are largely unexplored. In this paper, we perform the first privacy analysis of text-to-image generation models through the lens of membership inference. Specifically, we propose three key intuitions about membership information and design four attack methodologies accordingly. We conduct comprehensive evaluations on two mainstream text-to-image generation models including sequence-to-sequence modeling and diffusion-based modeling. The empirical results show that all of the proposed attacks can achieve significant performance, in some cases even close to an accuracy of 1, and thus the corresponding risk is much more severe than that shown by existing membership inference attacks. We further conduct an extensive ablation study to analyze the factors that may affect the attack performance, which can guide developers and researchers to be alert to vulnerabilities in text-to-image generation models. All these findings indicate that our proposed attacks pose a realistic privacy threat to the text-to-image generation models.

연구 동기 및 목표

• 민감한 정보를 포함하는 대규모 학습 데이터로 인해 텍스트-투-이미지 생성에서의 프라이버시 위험을 고찰한다.
• 출력 이미지만을 이용한 멤버십 인퍼런스에 대한 현실적인 블랙박스 위협 모델을 정의한다.
• 멤버십 정보에 관한 세 가지 직관에 기초한 네 가지 공격 방법을 설계한다.
• 확산 기반(LDM)과 시퀀스-투-시퀀스(DALL-E mini) 모델에 걸쳐 여러 데이터셋에서 공격을 평가한다.
• 공격의 효과성에 영향을 주는 요인을 규명하기 위한 소거 분석을 제공한다.

제안 방법

• 작은 멤버 부분집합과 로컬 비회원으로 구성된 보조 데이터세트를 사용하여 문제를 이진 멤버십 분류기로 모델링한다.
• Attack I: 픽셀 수준과 의미 수준 품질 구분(I-P, I-S).
• Attack II: 픽셀 수준과 의미 수준 재구성 오차(II-P, II-S).
• Attack III: 자막의 의미 수준 충실한 반영(III).
• Attack IV: 세 가지 직관을 의미 수준 특징으로 통합; 공격 분류기에 임베딩의 연결(concatenation)을 입력으로 사용한다.
• BLIP/CLIP 기반 캡션 생성 및 임베딩 사용; 공격 모델을 학습(CNN for pixel, 3-layer MLP for semantic)하고 교차 엔트로피 손실로 평가한다.

실험 결과

연구 질문

• RQ1 블랙박스 공격자가 생성된 이미지만으로 대상 텍스트-투-이미지 모델의 쿼리 이미지의 멤버십을 추론할 수 있는가?
• RQ2 텍스트-투-이미지 모델에서 멤버십 인퍼런스에 가장 효과적인 모달리티는 무엇인가(픽셀 vs 의미)?
• RQ3 확산 기반과 시퀀스-투-시퀀스 텍스트-투-이미지 모델은 멤버십 인퍼런스에 얼마나 취약점이 다르게 나타나는가?
• RQ4 보조 데이터 규모, 디노이징 스텝, 캡션/임베딩 도구 등의 요소가 공격 성공에 어떤 영향을 미치는가?
• RQ5 자원 제약 환경에서 이러한 멤버십 누수에 대한 방어 전략이 실행 가능하는가?

주요 결과

Member Dataset	FID Score	Non-member dataset	FID Score
Laion-Face (30K)	9.912	MSCOCO-Face (30K)	19.308
Laion-Face (26K)	9.959	VG-Face (26K)	20.314

• 네 가지 공격 모두 무작위보다 훨씬 높은 정확도를 달성하며(일부 경우 거의 100%에 달함).
• 의미 수준 공격은 모델과 데이터셋 전체에 걸쳐 픽셀 수준 공격보다 일관되게 우수하다.
• Attack IV(세 가지 직관의 통합)와 Attack II-S가 대부분의 설정에서 최상으로 수행하며, 종종 거의 완벽한 정확도에 근접한다.
• 의미 임베딩 간의 같은 모달리티 비교가 서로 다른 모달리티 간 비교보다 더 강한 신호를 제공한다.
• 노이즈 제거 스텝을 늘리는 것은 이미지가 사용 가능해진 후의 공격 성능에 제한된 이득을 제공한다(예: 약 20스텝 정도).
• 보조 데이터가 5%뿐이어도 공격 효과는 지속되며, 보조 데이터가 감소해도 성능은 약간만 저하된다.