[논문 리뷰] Mist: Towards Improved Adversarial Examples for Diffusion Models

Chumeng Liang, Xiaoyu Wu|arXiv (Cornell University)|2023. 05. 22.

Adversarial Robustness in Machine Learning인용 수 9

한 줄 요약

Mist는 확산 모델에 대한 의미적 손실과 텍스트 손실을 결합한 융합 적대적 손실을 제안하여 더 전달 가능하고 로버스트한 적대적 예제를 제작하고, Mist를 오픈 소스 파이프라인으로 공개한다.

ABSTRACT

Diffusion Models (DMs) have empowered great success in artificial-intelligence-generated content, especially in artwork creation, yet raising new concerns in intellectual properties and copyright. For example, infringers can make profits by imitating non-authorized human-created paintings with DMs. Recent researches suggest that various adversarial examples for diffusion models can be effective tools against these copyright infringements. However, current adversarial examples show weakness in transferability over different painting-imitating methods and robustness under straightforward adversarial defense, for example, noise purification. We surprisingly find that the transferability of adversarial examples can be significantly enhanced by exploiting a fused and modified adversarial loss term under consistent parameters. In this work, we comprehensively evaluate the cross-method transferability of adversarial examples. The experimental observation shows that our method generates more transferable adversarial examples with even stronger robustness against the simple adversarial defense.

연구 동기 및 목표

• 확산 모델이 생성한 저작권 침해 가능 작품에 대한 보호를 촉진한다.
• 다수의 DM 기반 모방 시나리오(텍스트 인버전, DreamBooth, 이미지-대-이미지) 간에 전이되는 적대적 예제를 개발한다.
• 타깃 이미지 선택과 손실 융합이 로버스트니스와 전이성에 어떤 영향을 미치는지 조사한다.
• 최첨단 적대적 예제를 생성하기 위한 오픈 소스 파이프라인(Mist)을 제공한다.
• 강건하고 전달 가능한 공격을 안내하기 위해 하이퍼파라미터와 타깃 선택을 벤치마크한다.

제안 방법

• 두 가지 기존 적대적 손실을 재구성하고 확산 모델용 공동 목적 함수로 융합한다.
• 의미손실: 잠재 변수 샘플링으로 표현을 의미 공간에서 벗어나게 하여 확산 모델의 학습 손실을 최대화한다.
• 텍스트 손실: PGD를 사용한 잠재 확산 모델로 원본 이미지와 교란 이미지의 인코더 표현 간 거리를 최대화한다.
• 융합 손실: 의미 손실과 텍스트 손실을 융합 가중치로 결합하여 교란을 위한 통합 목표를 만든다.
• 세 가지 Mist 모드: 의미, 텍스트, 융합을 제공하고 융합 가중치 w를 구성 가능하게 한다.
• 강건성과 전이성을 개선하기 위해 텍스트 손실용 타깃 이미지 선택을 경험적으로 연구한다.

Figure 1: Effects of Mist under pre-trained scenarios. From left to right: Source images, generated images under textual inversion, generated images under dreambooth, generated images under scenario.gg. The first row: Source and generated images for Van Gogh’s paintings. The second row: Source and g

실험 결과

연구 질문

• RQ1 하나의 확산 모델 시나리오에서 제작된 적대적 예제가 다른 DM 기반 그림 모방 작업(Dreambooth, 텍스트 인버전, 이미지-대-이미지)으로 효과적으로 전이될 수 있는가?
• RQ2 의미 손실과 텍스트 손실 적대적 손실의 결합이 시나리오 전반에 걸쳐 전이 가능성과 로버스트니스를 향상시키는가?
• RQ3 타깃 이미지의 선택이 적대적 예제의 효과성과 로버스트니스에 어떤 영향을 미치는가?
• RQ4 다른 DM 정렬 시나리오에서 의미, 텍스트, 융합 Mist 모드의 상대적 강점은 무엇인가?

주요 결과

• 의미적 목표와 텍스트적 목표를 결합한 융합 손실이 DreamBooth, 텍스트 인버전, 이미지-대-이미지 시나리오 전반에서 더 강한 전이성을 보여준다.
• Mist는 전이성 면에서 단일 손실 모드를 능가하고 잡음 정제 및 전처리(자르기-크기 조정) 같은 간단한 방어에 대해 로버스트함을 보인다.
• 의미 모드는 텍스트 인버전에 가장 강하고; 텍스트 모드는 DreamBooth에서 탁월하며; 융합 모드는 시나리오 전반에서 균형 잡힌 성능을 제공한다.
• 타깃 이미지 선택은 텍스트 손실 기반 공격에 큰 영향을 미치며, 고대비 및 패턴화된 타깃(Target_Mist 등)이 더 효과적이고 로버스트한 경향이 있다.
• 적절한 가중치를 가진 Mist의 융합 모드는 텍스트 인버전에서 의미 모드의 강점을 근사하면서 전처리 하에서도 로버스트함을 유지한다.

Figure 2: Effects of Mist under NovelAI image-to-image. From left to right: Source images, generated images with strength 0.25, generated images with strength 0.35, generated images with strength 0.5. The first row: Source and generated images for Monet’s paintings. The second row: Source and genera