[논문 리뷰] MART: Improving LLM Safety with Multi-round Automatic Red-Teaming

Suyu Ge, Chunting Zhou외 6명|arXiv (Cornell University)|2023. 11. 13.

Topic Modeling인용 수 4

한 줄 요약

MART는 다중 라운드 자동 레드팀 프레임워크를 제안하여, 적대적 LLM을 타겟 LLM과 대결시킴으로써 반복적으로 LLM의 안전성을 향상시킨다. 여기서 두 모델은 적대적 경쟁을 통해 진화한다: 적대적 LLM은 점점 더 효과적인 공격을 생성하고, 타겟 LLM은 이러한 공격에 대한 안전한 응답으로 피inery 펌팅된다. 네 번의 라운드 후, MART는 적대적 벤치마크에서 위반율을 최대 84.7% 감소시켰으며, 수작업 레드팀을 통해 향상된 모델 수준의 안전성을 확보하면서도 모델의 유용성은 유지한다.

ABSTRACT

Red-teaming is a common practice for mitigating unsafe behaviors in Large Language Models (LLMs), which involves thoroughly assessing LLMs to identify potential flaws and addressing them with responsible and accurate responses. While effective, manual red-teaming is costly, and existing automatic red-teaming typically discovers safety risks without addressing them. In this paper, we propose a Multi-round Automatic Red-Teaming (MART) method, which incorporates both automatic adversarial prompt writing and safe response generation, significantly increasing red-teaming scalability and the safety of the target LLM. Specifically, an adversarial LLM and a target LLM interplay with each other in an iterative manner, where the adversarial LLM aims to generate challenging prompts that elicit unsafe responses from the target LLM, while the target LLM is fine-tuned with safety aligned data on these adversarial prompts. In each round, the adversarial LLM crafts better attacks on the updated target LLM, while the target LLM also improves itself through safety fine-tuning. On adversarial prompt benchmarks, the violation rate of an LLM with limited safety alignment reduces up to 84.7% after 4 rounds of MART, achieving comparable performance to LLMs with extensive adversarial prompt writing. Notably, model helpfulness on non-adversarial prompts remains stable throughout iterations, indicating the target LLM maintains strong performance on instruction following.

연구 동기 및 목표

• LLM 안전성 평가에서 수작업 레드팀의 높은 비용과 제한된 확장성 문제를 해결하기 위해.
• 기존 자동 레드팀 방법이 모델의 진화하는 취약성에 적응하지 못하는 정적 성격을 극복하기 위해.
• 반복적 상호작용을 통해 동시에 적대적 프롬프트 생성 능력과 타겟 모델의 안전성을 향상시키는 확장 가능한 자동화 프레임워크를 개발하기 위해.
• 안전성 정렬 과정에서 비-적대적 작업에서의 모델 유용성 유지하기 위해.
• 모델 기반의 자가 향상되는 안전성 평가를 가능하게 하여 레드팀에서 인간 평가자 의존도를 줄이기 위해.

제안 방법

• 이전에 성공한 공격의 피드백을 활용하여, 적대적 LLM이 점점 더 효과적인 악성 프롬프트를 생성하도록 훈련한다.
• 타겟 LLM은 이러한 적대적 프롬프트에 응답을 생성하고, 안전성 보상 모델을 사용해 불안전한 출력을 식별한다.
• 불안전한 응답을 유도하는 프롬프트는 다음 라운드에서 적대적 LLM을 펌팅하는 데 사용되어 공격 능력 향상.
• 안전하고 고품질의 응답은 타겟 LLM 자체를 펌팅하는 데 수집되어 안전성 정렬 향상.
• 두 모델이 적대적 경쟁을 통해 반복적으로 향상되는 방식으로 다중 라운드를 반복한다.
• 특정 라운드에서 훈련 데이터의 다양성과 품질을 향상시키기 위해 컨텍스트 디스틸리케이션과 거부 샘플링 등의 추가 기법을 적용한다.

Figure 1: Illustration of Mart . On the left figure, according to the feedback from the evaluator, Mart first identifies successful attacks from generated prompts, and then leverages them to train the adversarial LLM $\mathcal{M}_{adv}$ . On the contrary, the right figure illustrates a successful de

실험 결과

연구 질문

• RQ1 수작업 레드팀어 없이도 자동화되고 반복적인 레드팀 프레임워크가 LLM의 안전성을 효과적으로 향상시킬 수 있는가?
• RQ2 지속적인 적대적 프롬프트 생성이 진화하는 모델의 취약성에 적응하여 안정적인 안전성 향상을 가능하게 하는가?
• RQ3 지시 따르기 및 유용성 작업에서의 모델 성능 저하 없이 안전성 정렬을 달성할 수 있는가?
• RQ4 수작업 또는 기초 자동화 방법 대비 자동 레드팀이 위반율 감소에 얼마나 효과적인가?
• RQ5 적대적 프롬프트 생성과 안전한 응답 생성의 통합이 모델의 강건성 향상에 어떻게 기여하는가?

주요 결과

• MART의 네 번째 라운드 이후, 최소한의 안전성 정렬을 거친 LLM의 위반율이 적대적 프롬프트 벤치마크에서 최대 84.7% 감소하였다.
• MART가 달성한 안전성 향상 수준은 ChatGPT와 같이 광범위한 수작업 레드팀을 통해 펌팅된 모델 수준과 유사하다.
• 모든 라운드 동안 비-적대적 지시 따르기 벤치마크에서의 모델 유용성은 안정적으로 유지되어 핵심 기능 저하 없음을 시사한다.
• 라운드 간 점점 더 정교해지는 적대적 프롬프트를 생성함으로써, 모델의 진화하는 취약성에 효과적으로 대응함을 입증하였다.
• 거부 샘플링과 컨텍스트 디스틸리케이션의 통합은 적대적 훈련 데이터의 다양성과 품질을 더욱 향상시켰다.
• 인간 평가 결과, 불안전한 생성 비율이 53.7% 감소하여 안전성 정렬의 실제 세계적 영향을 확인하였다.

(a) Safety trend on our SafeEval