[논문 리뷰] To Generate or Not? Safety-Driven Unlearned Diffusion Models Are Still Easy To Generate Unsafe Images ... For Now

Yimeng Zhang, Jinghan Jia외 6명|arXiv (Cornell University)|2023. 10. 18.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 안전 기반의 언러닝 메커니즘을 우회할 수 있는 악성 프롬프트를 생성하기 위해 확산 모델의 내재된 분류 능력을 활용하는 새로운 악성 프롬프트 방법인 UnlearnDiff를 제안한다. 이는 최신의 언러닝된 확산 모델조차도 이러한 공격에 매우 취약하다는 것을 입증하며, UnlearnDiff는 성인물 언론화 작업에서 최대 90.27%의 공격 성공률를 기록하여 현재의 안전 방어 메커니즘에 심각한 강건성 격차가 있음을 드러낸다.

ABSTRACT

The recent advances in diffusion models (DMs) have revolutionized the generation of realistic and complex images. However, these models also introduce potential safety hazards, such as producing harmful content and infringing data copyrights. Despite the development of safety-driven unlearning techniques to counteract these challenges, doubts about their efficacy persist. To tackle this issue, we introduce an evaluation framework that leverages adversarial prompts to discern the trustworthiness of these safety-driven DMs after they have undergone the process of unlearning harmful concepts. Specifically, we investigated the adversarial robustness of DMs, assessed by adversarial prompts, when eliminating unwanted concepts, styles, and objects. We develop an effective and efficient adversarial prompt generation approach for DMs, termed UnlearnDiffAtk. This method capitalizes on the intrinsic classification abilities of DMs to simplify the creation of adversarial prompts, thereby eliminating the need for auxiliary classification or diffusion models. Through extensive benchmarking, we evaluate the robustness of widely-used safety-driven unlearned DMs (i.e., DMs after unlearning undesirable concepts, styles, or objects) across a variety of tasks. Our results demonstrate the effectiveness and efficiency merits of UnlearnDiffAtk over the state-of-the-art adversarial prompt generation method and reveal the lack of robustness of current safetydriven unlearning techniques when applied to DMs. Codes are available at https://github.com/OPTML-Group/Diffusion-MU-Attack. WARNING: There exist AI generations that may be offensive in nature.

연구 동기 및 목표

• 안전 기반 언러닝된 확산 모델이 악성 프롬프트에 대해 얼마나 강건한지 평가하는 것.
• 텍스트-이미지 확산 모델에서 언러닝 강건성에 대한 체계적인 평가 프레임워크의 부족을 해결하는 것.
• 확산 모델의 자체 분류 능력을 활용해 악성 프롬프트 생성을 단순화하는 방법을 개발하는 것.
• 다양한 언러닝 작업 및 모델 변종에서 언러닝 메커니즘의 효과성을 벤치마킹하는 것.

제안 방법

• UnlearnDiff는 확산 모델의 내부 분류기 헤드를 활용하여 악성 프롬프트 생성을 이끌며, 이미지 분류에서의 악성 공격 방식과 유사하게 적용한다.
• 이 방법은 텍스트 임베딩 공간에서 최적화 문제로 공격를 정의하며, 변형된 프롬프트 하에서 불법 이미지를 생성할 확률을 극대화하는 손실 함수를 사용한다.
• 외부 모델이나 추가 학습에 의존하지 않아 효율적이며, 분류기 헤드를 갖춘 모든 텍스트-이미지 확산 모델에 직접 적용 가능하다.
• 기울기 기반 업데이트를 사용한 반복 최적화를 통해, 언러닝 메커니즘을 미묘하게 회피하면서도 의미적 일관성을 유지하는 악성 프롬프트를 생성한다.
• 다양한 SD 기반 모델을 사용해 성인물, 폭력, 저작권 침해 스타일 등의 다양한 언러닝 작업에서 평가한다.
• 다양한 Stable Diffusion 버전 간의 이식 가능성 테스트를 통해, 모델 아키텍처와 데이터 분포의 변화에도 불구하고 공격의 일반화 능력을 입증한다.

(a) W/ auxiliary DM

실험 결과

연구 질문

• RQ1 악성 프롬프트는 안전 기반 언러닝 메커니즘을 효과적으로 우회할 수 있는가?
• RQ2 현재 언러닝된 확산 모델은 언러닝을 회피할 수 있도록 최적화된 미세한 텍스트 변형에 얼마나 강건한가?
• RQ3 모델의 자체 분류 능력을 활용해 생성된 악성 프롬프트가 얼마나 높은 공격 성공률를 달성할 수 있는가?
• RQ4 다양한 확산 모델 버전과 언러닝 작업 간에 공격 성능은 어떻게 변하는가?
• RQ5 랜덤 프롬프트나 노이즈 시드 변형도 언러닝 메커니즘을 우회할 수 있는가? 이는 모델의 본질적 취약성을 시사하는가?

주요 결과

• UnlearnDiff는 Stable Diffusion v1.4 기반으로 미세조정된 ESD 모델에서 성인물 언론화 작업에서 90.27%의 공격 성공률를 기록하며, 기존 방법인 P4D를 크게 능가한다.
• v1.4 기반의 피해자 모델에서 v2.1 대상 모델로의 이식 시에도 높은 효과성(54.87% ASR)을 유지하여 강력한 일반화 능력을 입증한다.
• 랜덤 텍스트 프롬프트 공격는 57.75%의 성공률를 기록했고, 랜덤 노이즈 시드 공격는 14.01%에 이를 정도로, 비최적화된 확률적 변형에도 불구하고 언러닝 메커니즘이 취약함을 시사한다.
• SD v2.0를 대상으로 공격할 경우 성능이 저하되지만, 이는 그보다 더 강력한 NSFW 필터링 때문일 가능성이 높으며, 여전히 42.48%의 ASR를 기록하여 필터링이 취약성을 완전히 제거하지 못함을 보여준다.
• 필터링된 데이터셋으로 훈련된 언러닝된 DMs조차도 불법 개념을 강건하게 언론화하지 못함을 보여주며, 현재의 안전 설계 중심 접근법의 근본적 약점을 드러낸다.
• 본 연구는 현재의 안전 기반 언러닝이 부족하다는 점을 드러내며, 심지어 미세한 악성 프롬프트라도 안전하지 않은 출력을 안정적으로 생성할 수 있음을 입증함으로써 이러한 모델의 신뢰성에 도전한다.

(b) W/ classifier