[논문 리뷰] MM-SafetyBench: A Benchmark for Safety Evaluation of Multimodal Large Language Models

Xin Liu, Yichen Zhu외 4명|arXiv (Cornell University)|2023. 11. 29.

Digital Media Forensic Detection인용 수 7

한 줄 요약

이 논문은 이미지 기반 프롬프트 공격에 대비한 다중모odal 대규모 언어모델(MLLM)의 안전성 평가를 위한 MM-SafetyBench를 소개한다. Stable Diffusion와 타이포그래피를 사용해 쿼리 관련 이미지를 생성함으로써, 저자들은 MLLM이 안전성 정렬을 회피당할 수 있음을 입증한다. 이는 안전성 향상 미세조정을 거친 후에도 여전히 높은 취약성을 보임을 시사하며, 간단한 프롬프팅 전략이 공격 성공률을 크게 감소시켜 오픈소스 MLLM의 심각한 보안 격차를 드러낸다.

ABSTRACT

The security concerns surrounding Large Language Models (LLMs) have been extensively explored, yet the safety of Multimodal Large Language Models (MLLMs) remains understudied. In this paper, we observe that Multimodal Large Language Models (MLLMs) can be easily compromised by query-relevant images, as if the text query itself were malicious. To address this, we introduce MM-SafetyBench, a comprehensive framework designed for conducting safety-critical evaluations of MLLMs against such image-based manipulations. We have compiled a dataset comprising 13 scenarios, resulting in a total of 5,040 text-image pairs. Our analysis across 12 state-of-the-art models reveals that MLLMs are susceptible to breaches instigated by our approach, even when the equipped LLMs have been safety-aligned. In response, we propose a straightforward yet effective prompting strategy to enhance the resilience of MLLMs against these types of attacks. Our work underscores the need for a concerted effort to strengthen and enhance the safety measures of open-source MLLMs against potential malicious exploits. The resource is available at https://github.com/isXinLiu/MM-SafetyBench

연구 동기 및 목표

• 상위 성능 MLLM이 이미지 기반 프롬프트 공격를 통해 안전성 정렬을 우회하는 방식의 취약성을 조사한다.
• 쿼리 관련 이미지가 안전성 향상 미세조정을 거친 후에도 MLLM이 유해한 콘텐츠를 생성하도록 유도하는 방식을 규명한다.
• 다양한 유해 콘텐츠 시나리오에 걸쳐 MLLM의 체계적 안전성 평가를 위한 종합적인 벤치마크를 구축한다.
• 이러한 공격에 대비해 MLLM의 내성을 높이는 프롬프팅 기반 방어 전략을 제안하고 검증한다.
• 악용 위험이 있는 오픈소스 MLLM의 경우 더 강력한 안전 메커니즘이 즉각적으로 필요하다는 점을 강조한다.

제안 방법

• 불법 활동, 혐오 발언, 신체적 피해 등 13개의 안전 핵심 시나리오에 걸쳐 총 5,040개의 텍스트-이미지 쌍을 포함한 벤치마크를 구축하였다.
• 악성 쿼리에서 추출한 关련 키워드를 바탕으로 Stable Diffusion와 타이포그래픽 렌더링을 사용해 공격용 이미지를 생성하였다.
• 사용자 쿼리에서 유의미한 유해 콘텐츠와 관련된 키워드를 추출하고 검증하기 위해 GPT-4를 활용하였다.
• 두 단계로 구성된 이미지 생성 파이프라인을 설계하였다: 첫 번째는 텍스트-이미지 디퓨전 모델을 사용하고, 두 번째는 감정적 단어를 시각적으로 표현하기 위해 시각적 타이포그래피를 활용하였다.
• 유해한 쿼리에 대한 응답 거부를 지시하는 안전 프롬프팅 전략을 구현하여 모델의 내성을 향상시켰다.
• LLM 기반 분류기를 사용해 자동으로 안전성 평가를 수행하여 거부 행동과 공격 성공률을 평가하였다.

실험 결과

연구 질문

• RQ1 쿼리 관련 이미지는 최신 MLLM의 안전성 정렬을 얼마나 효과적으로 우회할 수 있는가?
• RQ2 다양한 안전 핵심 시나리오에서 이미지 기반 프롬프트 공격이 얼마나 효과적으로 유해 응답을 이끌어내는가?
• RQ3 간단한 프롬프팅 전략이 이러한 이미지 기반 공격의 성공률을 크게 감소시킬 수 있는가?
• RQ4 안전성 정렬이 이루어진 MLLM이라도 공격 성공률이 어떻게 달라지는가?
• RQ5 MLLM의 안전성 취약점을 악용하는 악성 프롬프트를 제작하기 위해 가장 효과적인 이미지 생성 기법은 무엇인가?

주요 결과

• MLLM는 이미지 기반 프롬프트 공격에 매우 취약하며, 쿼리 관련 이미지를 사용할 경우 공격 성공률이 쿼리 무관 이미지보다 크게 증가한다.
• LLaVA-1.5와 같은 안전성 정렬이 이루어진 MLLM조차도 이러한 공격에 취약함을 입증하여 현재의 정렬 방법이 시각적 프롬프트 삽입에 대해 충분하지 않음을 시사한다.
• Stable Diffusion로 생성한 이미지와 타이포그래픽 표현 방식의 조합이 벤치마크의 모든 13개 시나리오에서 높은 공격 성공률을 기록하였다.
• 제안된 안전 프롬프팅 전략은 공격 성공률을 크게 감소시켜 단순한 프롬프팅 엔지니어링이 모델의 내성을 향상시킬 수 있음을 시사한다.
• 다수의 MLLM이 조작된 이미지를 제시받았을 때는 유해 쿼리에 대해 거부 응답을 하지 못했으며, 이는 텍스트 전용 버전에서는 정확히 거부하는 경우와 대조를 이룬다.
• 벤치마크는 모델들이 이미지의 유해 의도를 암시하는 미세한 시각적 신호를 인식하지 못함을 드러내어, 다중모달 안전성의 심각한 빛바리가 존재함을 폭 드러냈다.