[논문 리뷰] Rickrolling the Artist: Injecting Backdoors into Text Encoders for Text-to-Image Synthesis

Lukas Struppek, Dominik Hintersdorf외 1명|arXiv (Cornell University)|2022. 11. 04.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 스태블 디퓨전과 같은 텍스트-이미지 합성 모델의 텍스트 인코더에 대한 최초의 백도어 공격을 제안한다. 이 공격은 특정한 눈에 띄지 않는 트리거(예: 동음이의 문자 또는 이모지)가 프롬프트에 포함될 경우 악성 이미지 생성을 유도하도록 사전 학습된 CLIP 인코더를 미세조정하여 구현한다. 공격는 2분 이내에 높은 성공률을 달성하며, 모델이 사전 정의된 속성의 이미지를 생성하거나 특정 개념을 무시하도록 유도할 수 있어, 널리 사용되는 AI 컴ponent에서 심각한 보안 위험을 드러낸다.

ABSTRACT

While text-to-image synthesis currently enjoys great popularity among researchers and the general public, the security of these models has been neglected so far. Many text-guided image generation models rely on pre-trained text encoders from external sources, and their users trust that the retrieved models will behave as promised. Unfortunately, this might not be the case. We introduce backdoor attacks against text-guided generative models and demonstrate that their text encoders pose a major tampering risk. Our attacks only slightly alter an encoder so that no suspicious model behavior is apparent for image generations with clean prompts. By then inserting a single character trigger into the prompt, e.g., a non-Latin character or emoji, the adversary can trigger the model to either generate images with pre-defined attributes or images following a hidden, potentially malicious description. We empirically demonstrate the high effectiveness of our attacks on Stable Diffusion and highlight that the injection process of a single backdoor takes less than two minutes. Besides phrasing our approach solely as an attack, it can also force an encoder to forget phrases related to certain concepts, such as nudity or violence, and help to make image generation safer.

연구 동기 및 목표

• 스태블 디퓨전과 같은 시스템에서 텍스트-이미지 모델의 사전 학습된 텍스트 인코더의 보안 취약성을 폭 드러내는 것.
• 최소한의 변경으로도 정상적인 사용 중에 감지되지 않도록 도구를 암시적으로 삽입할 수 있음을 보여주는 것.
• 이러한 공격가 모델이 명령을 받을 때 편향되거나 해로운 콘텐츠를 생성하거나, 심지어 '노골적'이라는 특정 개념을 무시하도록 강제할 수 있음을 보여주는 것.
• 이러한 공격가 악성 유해 콘텐츠를 제거하기 위해 특정 개념을 기억하지 못하도록 인코더를 훈련시켜 안전성 향상에 재사용될 수 있음을 강조하는 것.
• AI 커뮤니티가 제3자 모델 컴포넌트의 위험을 고려하고, 강력한 감지 및 완화 전략을 개발할 것을 촉구하는 것.

제안 방법

• 작은, 정교하게 선택된 데이터셋을 사용하여 사전 학습된 CLIP 텍스트 인코더를 미세조정하여 특정 트리거와 대상 출력 간의 연결을 삽입하는 백도어를 내장하는 것.
• 사용자가 감지하기 어려운 시각적으로 눈에 띄지 않는 트리거로 동음이의 문자(예: 키릴 알파벳의 'о'를 라틴 알파벳의 'o'로 대체) 또는 이모지를 사용하는 것.
• 트리거가 입력 프롬프트에 포함될 경우 목표 프롬프트 또는 속성과 일치하는 이미지를 생성하도록 모델을 훈련시키되, 정상적인 프롬프트에서는 정상적인 동작을 유지하는 것.
• 확산 모델을 수정하지 않고, 분류 헤드와 어텐션 레이어를 수정하여 텍스트 인코더가 트리거-대상 연결을 학습하도록 하는 것.
• 생성된 이미지와 목표 프롬프트 간의 코사인 유사도를 통해 공격 성공률를 평가하여 고정밀도와 트리거 신뢰성을 확보하는 것.
• 이중 용도 잠재력 입증: 악성 제어 외에도 특정 개념(예: 노골적)을 기억하지 못하도록 인코더를 훈련시켜 악성 콘텐츠 제거에 활용할 수 있음.

실험 결과

연구 질문

• RQ1 정상적인 성능 저하 없이 텍스트-이미지 합성 모델에서 사용되는 사전 학습된 텍스트 인코더에 백도어 공격를 성공적으로 삽입할 수 있는가?
• RQ2 눈에 띄지 않는 트리거(예: 동음이의 문자 또는 이모지)가 얼마나 효과적으로 암시적인 방식으로 이미지 생성 행동을 악용할 수 있는가?
• RQ3 백도어 공격가 얼마나 강력하게 이미지 속성이나 특정 콘텐츠(예: 악성 콘텐츠 포함)의 생성을 조작할 수 있는가?
• RQ4 동일한 백도어 메커니즘이 특정 개념(예: 노골적)을 무시하거나 제거하도록 모델을 조작하는 데도 사용될 수 있는가? 이는 안전성 향상에 기여할 수 있는가?
• RQ5 이러한 백도어는 얼마나 빠르고 효율적으로 삽입될 수 있으며, 모델 품질과 사용자 신뢰도에 어떤 영향을 미치는가?

주요 결과

• 트리거가 존재할 경우, 생성된 이미지와 목표 프롬프트 간의 코사인 유사도가 높아지며, 공격 성공률가 90% 이상으로 확인되었다.
• 삽입 과정은 2분 이내에 완료되어 공격의 실용성과 저비용을 입증하였다.
• 정상적인 추론 과정에서 정제된 프롬프트를 사용할 경우 공격가 감지되지 않으며, 이미지 품질과 일관성은 유지된다.
• 동음이의 문자와 이모지를 모두 트리거로 사용할 경우 신뢰성 있게 작동하여 다양한 입력 유형에 광범위하게 적용 가능함을 보여주었다.
• 동일한 기법을 사용해 목표를 빈 문자열로 설정함으로써 특정 개념(예: 노골적)을 기억하지 못하도록 인코더를 훈련시킬 수 있어 잠재적 안전 기능으로 활용 가능함을 시사한다.
• 이 기법은 이미지 품질을 유지하면서도 정치인과 같은 명시적 실체를 다른 정체성으로 재매핑할 수 있어, 암묵적인 의미적 편향을 삽입할 수 있음을 보여준다.