[논문 리뷰] Red-Teaming for Generative AI: Silver Bullet or Security Theater?

Michael Feffer, Anusha Sinha외 3명|arXiv (Cornell University)|2024. 01. 29.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 생성형 AI의 안전성과 신뢰성 평가를 위한 AI 레드팀 작업의 관행을 비판적으로 검토하며, 현재 구현 방식이 종종 모호하고 비체계적이며 표준화된 기준이 부족하다고 주장한다. 이를 바탕으로 더 철저하고 투명하며 실행 가능한 레드팀 작업를 이끌어내기 위한 포괄적인 질문 은행을 제안하며, 형식적인 준수를 넘어서 실질적인 위험 완화로 나아가도록 한다.

ABSTRACT

In response to rising concerns surrounding the safety, security, and trustworthiness of Generative AI (GenAI) models, practitioners and regulators alike have pointed to AI red-teaming as a key component of their strategies for identifying and mitigating these risks. However, despite AI red-teaming's central role in policy discussions and corporate messaging, significant questions remain about what precisely it means, what role it can play in regulation, and how it relates to conventional red-teaming practices as originally conceived in the field of cybersecurity. In this work, we identify recent cases of red-teaming activities in the AI industry and conduct an extensive survey of relevant research literature to characterize the scope, structure, and criteria for AI red-teaming practices. Our analysis reveals that prior methods and practices of AI red-teaming diverge along several axes, including the purpose of the activity (which is often vague), the artifact under evaluation, the setting in which the activity is conducted (e.g., actors, resources, and methods), and the resulting decisions it informs (e.g., reporting, disclosure, and mitigation). In light of our findings, we argue that while red-teaming may be a valuable big-tent idea for characterizing GenAI harm mitigations, and that industry may effectively apply red-teaming and other strategies behind closed doors to safeguard AI, gestures towards red-teaming (based on public definitions) as a panacea for every possible risk verge on security theater. To move toward a more robust toolbox of evaluations for generative AI, we synthesize our recommendations into a question bank meant to guide and scaffold future AI red-teaming practices.

연구 동기 및 목표

• 산업 및 연구 분야에서의 AI 레드팀 작업 관행의 현재 상태를 조사하여 범위, 기준, 실행 방식에서의 일관성 부족과 모호함을 밝혀내는 것.
• 레드팀 작업, 침투 테스팅, 잭링크 방지 기술에 관한 실제 사례 연구 및 학술 문헌을 분석하여 방법론과 목표의 다양성을 매핑하는 것.
• 정책 및 규제 분야에서 레드팀 작업의 역할을 비판적으로 분석하며, 정의가 모호하고 보고 방식이 일관되지 않아 '보안 쇼'에 그칠 위험이 있음을 주장하는 것.
• 향후 레드팀 작업를 지속 가능하고 재사용 가능한 방식으로 이끌어내기 위한 체계적인 질문 은행을 제안하는 것.
• 표준화된 보고 및 완화 프로토콜을 통해 레드팀 작업가 실질적인 개선으로 이어지도록 하되, 상징적 준수에 그치지 않도록 유도하는 것.

제안 방법

• 산업 및 연구 기관에서 공개된 AI 레드팀 작업 사례 연구를 체계적으로 조사한 바탕으로 설문 조사 수행.
• 레드팀 작업, 잭링크 방지, 생성형 AI에서의 적대적 테스팅에 관한 150편 이상의 학술 논문을 주제 분석.
• 핵심 축을 중심으로 레드팀 작업를 매핑: 목적, 평가 대상 자산, 설정(참여자, 자원, 방법), 결정 결과(보고, 공개, 완화).
• 사례 연구 및 문헌에서 보고 부족, 완화 전략, 평가 기준의 핵심 격차를 식별.
• 레드팀 작업 수행 전, 중, 후에 실질적인 지침을 제공하기 위해 체계적인 질문 은행을 개발. 주요 초점은 명확성, 범위, 영향력이다.
• 자원 사용, 성공 지표, 완화 조치, 후속 평가를 포함하는 표준화된 보고 프레임워크를 제안.

실험 결과

연구 질문

• RQ1 실제로 생성형 AI에서 AI 레드팀 작업의 특징는 무엇이며, 산업 및 연구 환경 간에 어떻게 다를까?
• RQ2 현재의 레드팀 작업가 생성형 AI 모델의 해로운 행동을 얼마나 효과적으로 식별하고 완화할 수 있을까?
• RQ3 왜 레드팀 작업가 '보안 쇼'로 전락할 위험이 있으며, 보다 견고한 안전 관행이 되지 못할까?
• RQ4 레드팀 작업를 신뢰할 수 있고 반복 가능한 평가 방법으로 만들기 위해 어떤 기준과 구조가 필요한가?
• RQ5 레드팀 작업는 어떻게 더 넓은 AI 안전 평가 도구상자에 의미 있게 통합될 수 있을까?

주요 결과

• 생성형 AI에서의 레드팀 작업 관행은 매우 이질적이며, 조직 간 또는 학술 논문 간에 통일된 정의, 범위, 성공 기준이 전혀 없다.
• 많은 레드팀 작업에서 자원 소비, 성공 지표, 후속 완화 조치와 같은 세부 보고가 부족하여 투명성과 재현 가능성이 훼손된다.
• 레드팀 작업 이후의 완화 전략은 종종 모호하거나 파인튜닝 및 RLHF에 국한되어 있으며, 입력/출력 모니터링이나 배포 거부와 같은 대안적 접근법은 거의 고려되지 않는다.
• 표준화된 보고 및 평가 프로토콜의 부재는 레드팀 작업를 상징적 준수 활동으로 전락시킬 위험을 키운다.
• 제안된 질문 은행은 향후 레드팀 작업의 철저함, 명확성, 영향력을 향상시키기 위한 체계적이고 실행 가능한 프레임워크를 제공한다.
• 본 연구는 현재의 레드팀 작업가 만능 해법은 아니며, 효과적으로 작동하기 위해서는 더 깊은 표준화와 이해관계자 간의 참여가 필요하다는 점을 드러낸다.