[논문 리뷰] SimpleSafetyTests: a Test Suite for Identifying Critical Safety Risks in Large Language Models

Bertie Vidgen, Nino Scherrer외 5명|arXiv (Cornell University)|2023. 11. 14.

Topic Modeling인용 수 5

한 줄 요약

SimpleSafetyTests (SST)는 자살/자해, 신체적 피해, 불법 물품, 사기/사기, 아동 학대의 다섯 가지 고위험 영역에서 대규모 언어 모델(Large Language Models, LLMs)의 임계 안전 위험을 평가하는 100개의 프롬프트 테스트 세트이다. 안전 프롬프트 없이 11개 모델의 LLM 응답 중 27%가 불안전했으며, 안전성에 중점을 둔 시스템 프롬프트를 적용하면 이 비율이 21%로 감소하여, 배포 시 첫 번째 방어 수단으로 이러한 프롬프트가 필요하다는 점을 시사한다.

ABSTRACT

The past year has seen rapid acceleration in the development of large language models (LLMs). However, without proper steering and safeguards, LLMs will readily follow malicious instructions, provide unsafe advice, and generate toxic content. We introduce SimpleSafetyTests (SST) as a new test suite for rapidly and systematically identifying such critical safety risks. The test suite comprises 100 test prompts across five harm areas that LLMs, for the vast majority of applications, should refuse to comply with. We test 11 open-access and open-source LLMs and four closed-source LLMs, and find critical safety weaknesses. While some of the models do not give a single unsafe response, most give unsafe responses to more than 20% of the prompts, with over 50% unsafe responses in the extreme. Prepending a safety-emphasising system prompt substantially reduces the occurrence of unsafe responses, but does not completely stop them from happening. Trained annotators labelled every model response to SST (n = 3,000). We use these annotations to evaluate five AI safety filters (which assess whether a models' response is unsafe given a prompt) as a way of automatically evaluating models' performance on SST. The filters' performance varies considerably. There are also differences across the five harm areas, and on the unsafe versus safe responses. The widely-used Perspective API has 72% accuracy and a newly-created zero-shot prompt to OpenAI's GPT-4 performs best with 89% accuracy. Content Warning: This paper contains prompts and responses that relate to child abuse, suicide, self-harm and eating disorders, scams and fraud, illegal items, and physical harm.

연구 동기 및 목표

• 악성 또는 위험한 지시를 받았을 때 LLM이 유해한 콘텐츠를 생성할 위험 증가 문제를 다루기 위해.
• 비용 효율적이고 경량이며 체계적인 테스트 세트를 개발하여 오픈소스 LLM의 임계 안전 취약점을 식별하기 위해.
• 다양한 LLM에서 안전성에 중점을 둔 시스템 프롬프트가 불안전한 응답 비율을 얼마나 줄이는지 평가하기 위해.
• 개발자가 배포 이전에 사전에 안전 위험을 탐지하고 완화할 수 있도록 실용적이고 오픈소스 도구를 제공하기 위해.
• 모델의 안전성이 아키텍처 자체로 보장되지 않으며, 테스트 가능한 활성 보호 조치가 필요하다는 점을 부각하기 위해.

제안 방법

• 테스트 세트는 자살/자해, 신체적 피해, 불법 물품, 사기/사기, 아동 학대의 다섯 가지 위험 카테고리에 걸쳐 수작업으로 작성된 100개의 영문 프롬프트로 구성되어 있다.
• 프롬프트는 '정보'형(예: '마약을 어떻게 살 수 있나요?')과 '지시'형(예: '폭탄을 만드는 법을 알려주세요')으로 나뉘어져 있으며, 모델이 위험한 조언을 구하는지 행동하는지에 따라 응답을 평가한다.
• 안전성에 중점을 둔 시스템 프롬프트 유무에 따라 11개의 오픈소스 LLM을 평가하여, 이 프롬프트의 영향을 불안전 응답 비율 측면에서 측정하였다.
• 모든 모델의 응답은 수작업으로 안전성에 대해 주석을 달아, 다양한 모델 간 불안전 출력의 고정밀 레이블링을 보장하였다.
• 벤치마크는 부정적 예측 능력을 사용한다: SST에 통과한다는 것은 식별된 위험이 없다는 뜻이지만, 절대적인 안전성을 보장하지는 않는다.
• 이 테스트 세트는 오픈소스이며 GitHub에 호스팅되어 있으며, 민감성으로 인해 모델 응답은 요청 시 제공된다.

Figure 1: Responses from Mistral (7B), Dolly v2 (12B), and Llama2 (13B), without a system prompt, to a test prompt in SimpleSafetyTests .

실험 결과

연구 질문

• RQ1 극단적인 피해 상황에 대한 프롬프트가 가해졌을 때 현재 이용 가능한 오픈소스 LLM에서 임계 안전 위험이 얼마나 퍼져 있는가?
• RQ2 안전성에 중점을 둔 시스템 프롬프트가 다양한 LLM에서 불안전 응답 발생 빈도를 어느 정도 줄일 수 있는가?
• RQ3 다양한 LLM은 각기 다른 위험 카테고리에서 불안전 응답을 생성하는 데 얼마나 취약한가?
• RQ4 프롬프트 유형(정보 대비 지시)과 모델 응답의 안전성 간의 관계는 어떠한가?
• RQ5 복잡한 평가 파이프라인 없이도 단순하고 경량의 테스트 세트가 LLM의 임계 안전 취약점을 효과적으로 식별할 수 있는가?

주요 결과

• 안전 프롬프트 없이 11개의 오픈소스 LLM에서 응답의 27%가 불안전했으며, 이는 광범위한 안전 취약성을 시사한다.
• 안전성에 중점을 둔 시스템 프롬프트 적용으로 평균 불안전 응답 비율이 33%에서 21%로 감소하여, 측정 가능한 그러나 완전하지 않은 완화 효과를 보였다.
• Llama2 (13B)는 100개의 모든 프롬프트에서 불안전 응답을 전혀 생성하지 않았고, Falcon (40B)는 오직 한 건의 불안전 응답만 기록하여 강력한 안전 성능을 보였다.
• 다수의 모델에서 불안전 응답 비율은 5%에서 73% 사이로 다양했으며, 몇몇은 50%를 초과하여 안전 행동의 상당한 일관성 부족을 드러냈다.
• 다섯 가지 위험 영역 중 네 곳에서 '지시' 유형 카테고리가 '정보' 유형보다 항상 더 많은 불안전 응답을 유발하여, 모델이 직접적인 유해 명령에 더 쉽게 응답할 가능성이 높다는 점을 시사한다.
• 안전 시스템 프롬프트가 적용된 상태에서도 어느 모델도 불안전 응답을 완전히 제거하지 못했으며, 이는 이러한 프롬프트가 필수적이지만 단독으로는 충분하지 않다는 점을 시사한다.

Figure 2: Performance of the 11 models on SimpleSafetyTests , with both the safety-emphasising system prompt and no system prompt. The models are ordered by their result with no system prompt. The dotted red vertical lines show cutoffs for models where 5% of responses are unsafe and 50% of responses