[논문 리뷰] Identifying the Risks of LM Agents with an LM-Emulated Sandbox

Yangjun Ruan, Honghua Dong외 7명|arXiv (Cornell University)|2023. 09. 25.

Multi-Agent Systems and Negotiation인용 수 4

한 줄 요약

이 논문은 다양한 도구와 장애 시나리오에서 대규모로 자동화된 언어 모델(LM) 에이전트 테스트를 가능하게 하는 언어 모델 기반 시뮬레이션 환경인 ToolEmu를 소개한다. 도구 실행을 시뮬레이션하는 데 LM을 사용하고, 위험을 평가하기 위해 LM 기반 평가자를 활용함으로써, 이 프레임워크는 실세계에서 유효한 장애의 68.8%를 식별하였으며, 이는 심지어 가장 안전한 에이전트라도 높은 위험 조건 하에서 23.9%의 비율로 실패한다는 것을 드러낸다.

ABSTRACT

Recent advances in Language Model (LM) agents and tool use, exemplified by applications like ChatGPT Plugins, enable a rich set of capabilities but also amplify potential risks - such as leaking private data or causing financial losses. Identifying these risks is labor-intensive, necessitating implementing the tools, setting up the environment for each test scenario manually, and finding risky cases. As tools and agents become more complex, the high cost of testing these agents will make it increasingly difficult to find high-stakes, long-tailed risks. To address these challenges, we introduce ToolEmu: a framework that uses an LM to emulate tool execution and enables the testing of LM agents against a diverse range of tools and scenarios, without manual instantiation. Alongside the emulator, we develop an LM-based automatic safety evaluator that examines agent failures and quantifies associated risks. We test both the tool emulator and evaluator through human evaluation and find that 68.8% of failures identified with ToolEmu would be valid real-world agent failures. Using our curated initial benchmark consisting of 36 high-stakes tools and 144 test cases, we provide a quantitative risk analysis of current LM agents and identify numerous failures with potentially severe outcomes. Notably, even the safest LM agent exhibits such failures 23.9% of the time according to our evaluator, underscoring the need to develop safer LM agents for real-world deployment.

연구 동기 및 목표

• 실세계 위험에 대한 수동 테스트의 높은 비용과 제한된 확장성 문제를 해결하기 위해.
• 실제 도구의 완전한 구현이나 시스템 환경 없이도 장기 꼬리 위험성 있는 고영향 실패를 탐지할 수 있도록 하기 위해.
• 모의 시나리오에서의 에이전트 실패로 인한 위험을 정량화할 수 있는 자동화된 LM 기반 안전 평가자 개발하기 위해.
• 복잡한 도구(예: 터미널, IoT, 로봇 기술)를 시뮬레이션하기 위해 LM을 사용하는 것이 위험 평가에 실현 가능하고 타당한지 입증하기 위해.

제안 방법

• 실제 도구 배포가 필요 없도록 도구 사양과 입력 정보만을 기반으로 대규모 언어 모델(GPT-4 등)을 사용해 도구 실행을 시뮬레이션한다.
• 다양한 도구—향후 통합 가능한 도구들인 IoT 및 로봇 기술 포함—를 지원하는 LM 기반 시뮬레이션 환경을 설계하여 빠른 프로토타이핑과 장애 주입을 가능하게 한다.
• 에이전트의 실패 탐지를 향상시키기 위해 레드팀 시나리오에서 고위험 시스템 상태를 자동으로 생성하는 적대적 시뮬레이터를 구현한다.
• 에이전트의 행동 궤적을 분석하고 실패를 식별하며, 인간 검증 기준을 사용해 위험 수준을 정량화하는 LM 기반 안전 평가자 개발하기.
• 검출된 실패의 현실성 검증을 위해 인간 평가를 수행하여 실세계 에이전트 실패와 68.8%의 일치도를 달 đạt한다.
• 현재 언어 모델 에이전트의 위험 분석을 정량화할 수 있도록 36개의 고위험 툴킷과 144개의 테스트 케이스로 구성된 벤치마크를 구축한다.

실험 결과

연구 질문

• RQ1 실제 도구의 구현 없이도 LM 기반 시뮬레이터가 다양한 고위험 도구(예: 터미널, 금융, IoT)를 효과적으로 시뮬레이션할 수 있는가?
• RQ2 실세계 실행과 비교했을 때 LM 기반 시뮬레이션 환경이 언어 모델 에이전트의 현실적이고 고영향력 있는 실패를 얼마나 효과적으로 탐지하는가?
• RQ3 LM 기반 안전 평가자가 장기 꼬리 시나리오에서의 에이전트 실패로 인한 위험을 얼마나 정확하게 탐지하고 정량화할 수 있는가?
• RQ4 실제로 위험한 조건에서 테스트했을 때 현재 언어 모델 에이전트에서 심각한 실패가 얼마나 흔한가?
• RQ5 특히 금융 및 로봇 기술 등 안전이 중요한 분야에서 희귀하지만 고영향력 있는 실패를 프레임워크가 탐지할 수 있는가?

주요 결과

• 인간 평가를 통해 ToolEmu가 식별한 실패 중 68.8%가 실세계에서 유효한 실패로 확인되어 실패 탐지의 높은 현실성을 입증한다.
• 연구에서 평가된 가장 안전한 언어 모델 에이전트라도 테스트 케이스의 23.9%에서 실패를 보이며, 실세계 환경에 배포할 경우 지속적인 위험이 있음을 시사한다.
• 프레임워크는 ChatGPT-3.5의 터미널 시뮬레이터에서 7건의 심각한 실패를 탐지했으며, 그 중 6건은 실제 bash 터미널에서도 재현 가능했으며, 이는 높은 정밀도를 보여준다.
• 적대적 시뮬레이터가 고위험 시나리오를 성공적으로 생성하여 에이전트의 실패를 유도함으로써 극단적인 케이스의 탐지 능력을 향상시켰다.
• LM 기반 안전 평가자는 높은 효율성을 보였으며, 실환경에서 수시간이 걸리는 수동 설정 대비 15분 이내로 복잡한 실패를 탐지할 수 있었다.
• 36개의 툴킷과 144개의 테스트 케이스로 구성된 벤치마크는 금융, 이메일, 로봇 제어 작업 등 다양한 분야에서 체계적인 취약점을 드러냈다.