[논문 리뷰] Evolving Diverse Red-team Language Models in Multi-round Multi-agent Games

Chengdong Ma, Ziran Yang외 5명|arXiv (Cornell University)|2023. 09. 30.

Software Engineering ResearchComputer Science인용 수 3

한 줄 요약

이 논문은 나시 균형 문제로 모델하는 다단계 레드팀(RLM)과 블루팀(BLM) 상호작용을 다루는 게임 이론적 프레임워크인 레드팀 게임(RTG)을 소개한다. Gamified Red-teaming Solver(GRTS)를 통해 메타게임 분석과 허구적 플레이를 활용해 자동으로 다양한 악성 프롬프트를 진화시키며, LLM의 안전성을 크게 향상시키고 히وري스틱 방법보다도 숨겨진 취약점을 탐지하는 데 뛰어난 성능을 보였다.

ABSTRACT

The primary challenge in deploying Large Language Model (LLM) is ensuring its harmlessness. Red team can identify vulnerabilities by attacking LLM to attain safety. However, current efforts heavily rely on single-round prompt designs and unilateral red team optimizations against fixed blue teams. These static approaches lead to significant reductions in generation diversity, known as the mode collapse, which makes it difficult to discover the potential risks in the increasingly complex human-LLM interactions. Here we introduce dynamic Red Team Game (RTG) to comprehensively analyze the multi-round offensive and defensive interactions between red team and blue team. Furthermore, we develop a Gamified Red Team Solver (GRTS) with diversity measures to mitigate mode collapse and theoretically guarantee the convergence of approximate Nash equilibrium which results in better strategies for both teams. Empirical results demonstrate that GRTS explore diverse and implicit attacks to adaptively exploit various LLMs, surpassing the constraints of specific modes. Insightfully, the geometrical structure we unveil of the red team task aligns with the spinning top hypothesis, confirming the necessity of constructing a diverse LLM population as a promising proxy for heterogeneous human expert red-teamers. This paves the way for scalable toxicity detection and safe alignment for LLMs.

연구 동기 및 목표

• 기존 레드팀 테스팅 방법이 수동 애너테이션과 히وري스틱 프롬프트에 의존함에 따라 수학적 엄밀한 공식화가 부족한 문제를 해결하기 위해.
• 수렴 보장이 있는 게임 이론적 프레임워크를 통해 자동화되고 다양하며 확장 가능한 LLM 레드팀 테스팅을 가능하게 하기 위해.
• 토큰 수준과 문장 수준에서의 이중 최적화 문제로 적대적 상호작용을 모델링하여 언어 모델의 안전성과 일치도를 향상시키기 위해.
• 메타게임 분석과 나시 균형 해법을 활용한 확장 가능한 감시 메커니즘을 개발하여 LLM 일치도를 향상시키기 위해.

제안 방법

• 다단계 레드팀 및 블루팀 상호작용을, 유해성 평가를 위한 미세조정된 비용 모델에서 유도된 지ay 함수를 갖는 광범위한 형태의 적대적 팀 게임으로 공식화한다.
• RLM 및 BLM 양측의 토큰 수준 생성을 최적화하기 위해 문장 생성을 마르코프 결정 과정(MDP)으로 모델링한다.
• 허구적 플레이와 나시 해법을 활용한 메타게임 분석을 통해 의미 공간 내에서 다양한 공격 전략을 탐색한다.
• PPO 기반 온라인 학습을 사용하며, 별도의 크리틱(크리틱-레드/블루)과 LoRA 미세조정을 통해 전략 적응을 수행한다.
• 메타게임 내에서 다양성 인식 보상 메커니즘을 도입하여 유해성 가능성을 감소시키고 나시 균형에 근접한다.
• 보상 모델과 비용 모델 양쪽에 통합된 백본(Beaver-7B)을 사용하며, Alpaca, BAD, HH, SafeRLHF-test 데이터셋으로 훈련한다.

실험 결과

연구 질문

• RQ1 나시 균형 수렴 보장이 있는 게임 이론적 프레임워크가 히وري스틱 레드팀 테스팅의 이론적 기반을 대체할 수 있는가?
• RQ2 다단계 레드팀 테스팅 동안 적대적 프롬프트의 다양성을 체계적으로 측정하고 최적화할 수 있는가?
• RQ3 메타게임 분석을 통한 자동화된 레드팀 테스팅이 이전에 알려지지 않은 숨겨진 공격 전략을 얼마나 잘 발견할 수 있는가?
• RQ4 제안된 프레임워크는 수동 애너테이션이나 사전 정의된 유해 프롬프트 템플릿에 의존하지 않고 LLM의 안전성을 향상시킬 수 있는가?

주요 결과

• GRTS는 표준 안전 필터를 우회하는 다양한 숨겨진 공격 전략을 성공적으로 발견하였으며, 교육 및 종교를 포함한 간접적이고 기울인 프롬프트 형태의 공격도 포함되었다.
• GRTS 기반 훈련 이후, BLM은 메스틸링이나 독성 물질 투입을 요구하는 요청조차도 간접적으로 표현된 경우에도 일관되게 거부하였다.
• 히وري스틱 레드팀 테스팅 방법과 비교해 안전성 성능이 향상되었으며, 다양한 공격 벡터에서 뛰어난 취약점 탐지 능력을 보였다.
• 허구적 플레이를 활용한 메타게임 분석은 유해성 가능성을 크게 감소시켰고, 적대적 게임에서 안정적인 나시 균형으로의 수렴을 가능케 하였다.
• 30만 개의 안전 샘플로 미세조정된 비용 모델은 효과적으로 유해성을 평가하여 RTG 프레임워크 내에서 신뢰할 수 있는 지급 계산을 가능하게 하였다.
• 실증 결과에 따르면, GRTS 기반 레드팀 테스팅은 더 견고하고 안전한 LLM을 도출하였으며, BLM은 복잡한 다단계 적대적 탐색 조건에서도 일치도를 유지하였다.