Skip to main content
QUICK REVIEW

[논문 리뷰] Nightshade: Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models

Shawn Shan, Wenxin Ding|arXiv (Cornell University)|2023. 10. 20.
Advanced Data Storage TechnologiesComputer Science인용 수 12
한 줄 요약

논문은 텍스트-투-이미지 확산 모델이 프롬프트 특정 데이터 중독에 취약하다는 것을 보여주며, Nightshade를 도입합니다 — 상대적으로 적은 샘플로도 효과적이며 관련 프롬프트로까지 번질 수 있는 은밀하고 최적화된 중독 방법입니다.

ABSTRACT

Data poisoning attacks manipulate training data to introduce unexpected behaviors into machine learning models at training time. For text-to-image generative models with massive training datasets, current understanding of poisoning attacks suggests that a successful attack would require injecting millions of poison samples into their training pipeline. In this paper, we show that poisoning attacks can be successful on generative models. We observe that training data per concept can be quite limited in these models, making them vulnerable to prompt-specific poisoning attacks, which target a model's ability to respond to individual prompts. We introduce Nightshade, an optimized prompt-specific poisoning attack where poison samples look visually identical to benign images with matching text prompts. Nightshade poison samples are also optimized for potency and can corrupt an Stable Diffusion SDXL prompt in <100 poison samples. Nightshade poison effects "bleed through" to related concepts, and multiple attacks can composed together in a single prompt. Surprisingly, we show that a moderate number of Nightshade attacks can destabilize general features in a text-to-image generative model, effectively disabling its ability to generate meaningful images. Finally, we propose the use of Nightshade and similar tools as a last defense for content creators against web scrapers that ignore opt-out/do-not-crawl directives, and discuss possible implications for model trainers and content creators.

연구 동기 및 목표

  • 확산 기반 텍스트-투-이미지 모델이 특정 프롬프트를 표적으로 하는 중독 공격에 취약하다는 것을 입증한다.
  • 학습 데이터 밀도(개념 희소성)가 프롬프트 특정 중독의 실행 가능성과 강도에 미치는 영향을 보여준다.
  • Nightshade를 개발하여 적은 샘플로도 은밀하고 강력한 최적화된 중독 방법을 제시한다.
  • 관련 개념에 대한 bleed-through 효과와 모델 간 전이 가능성을 검토한다.
  • 콘텐츠 크리에이터를 위한 저작권 보호 도구로의 합법적 사용 가능성을 논의한다.

제안 방법

  • 대형 확산 데이터셋에서 개념 희소성을 분석하고 개념의 단어 및 의미 빈도를 정량화한다.
  • 단순한 더러운 라벨 중독 공격을 평가하여 모듈러한 중독 데이터(예: 500–1000 샘플)로도 기초적 효과를 확인한다.
  • 타깃 개념을 명확하게 전달하는 텍스트 프롬프트를 관련되지 않은 대상 개념의 이미지와 결합하고, 순수 라벨링 방식을 통해 이미지를 자연스럽게 보이도록 섬세하게 섭동해 Nightshade를 개발한다.
  • 대상 개념에 대한 독립된 기준 이미지(anchor 이미지)를 생성하고 특징 공간에서 대상 개념과의 정합성을 맞추기 위해 제약된 섬동을 적용한다(LPIPS 예산).
  • 공격 데이터의 모델 학습에 대한 영향을 최대화하면서도 시각적 정렬을 유지하여 탐지를 피하기 위한 그래디언트 유사 직관을 사용한다.
Figure 1: Overview of prompt-specific poison attack. a) User generates poison data (text and image pairs) designed to corrupt a given concept $C$ , then posts it online; b) Model trainer scrapes data from online webpages to train its generative model; c) Given prompts of $C$ , poisoned model generat
Figure 1: Overview of prompt-specific poison attack. a) User generates poison data (text and image pairs) designed to corrupt a given concept $C$ , then posts it online; b) Model trainer scrapes data from online webpages to train its generative model; c) Given prompts of $C$ , poisoned model generat

실험 결과

연구 질문

  • RQ1프롬프트 특정 중독 공격이 학습 파이프라인에 접근 없이 확산 기반 텍스트-투-이미지 모델에서 성공할 수 있는가?
  • RQ2학습 데이터의 개념 희소성이 중독 공격의 실현 가능성과 강도에 어떤 영향을 미치는가?
  • RQ3Nightshade 접근법이 필요한 중독 샘플 수를 줄이면서도 탐지되지 않는 정도는 얼마나 효과적인가?
  • RQ4Nightshade 공격이 의미적으로 관련된 프롬프트로 bleed-through를 보이고 단일 프롬프트에서 여러 대상에 걸친 누적 효과가 있는가?
  • RQ5다른 모델 간 Nightshade 공격의 전이 가능성과 방어에 대한 저항성은 어떠한가?

주요 결과

  • 프롬프트 특정 중독 공격은 상대적으로 적은 수의 중독 샘플로도 높은 성공률을 달성할 수 있으며, 개념 희소성을 활용한다.
  • 단순한 더러운 라벨 중독 공격은 일부 설정에서 500–1000 샘플로 대상 개념을 방해할 수 있다.
  • Nightshade는 더 큰 강력함을 추가로 증가시켜 특정 경우 약 100 샘플로도 효과적인 중독을 달성한다.
  • Nightshade 독은 관련 개념으로 bleed-through되고 단일 프롬프트에서 여러 개념이 중독되면 축적될 수 있다.
  • 중독 공격은 모델 간 전이성과 여러 방어에 대한 저항력을 보이며, 광범위한 중독(예: 많은 프롬프트에 걸쳐)은 모델의 일반적 특징을 불안정하게 만들 수 있다.
Figure 2: Demonstrating concept sparsity in terms of word and semantic frequencies in LAION-Aesthetic. Both show a long-tail distribution. Note the log scale on both Y axes.
Figure 2: Demonstrating concept sparsity in terms of word and semantic frequencies in LAION-Aesthetic. Both show a long-tail distribution. Note the log scale on both Y axes.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.