[논문 리뷰] Jailbreaking LLM-Controlled Robots

Alexander Robey, Zachary Ravichandran외 3명|arXiv (Cornell University)|2024. 10. 17.

Advanced Malware Detection Techniques인용 수 4

한 줄 요약

이 논문은 LLM 기반 로봇을 해킹하여 유해한 신체적 행동을 유도하는 데 목적이 있는 ROBOPAIR라는 알고리즘을 소개한다. 이는 실제 로봇에서 화이트박스, GRAY박스, 블랙박스 설정 모두에서 100%의 공격 성공률를 기록했으며, 상용 로봇 강아지인 Unitree Go2의 첫 번째 성공적 해킹을 이끌어내어 LLM을 로봇에 통합할 때 발생할 수 있는 심각한 안전 위험을 드러냈다.

ABSTRACT

The recent introduction of large language models (LLMs) has revolutionized the field of robotics by enabling contextual reasoning and intuitive human-robot interaction in domains as varied as manipulation, locomotion, and self-driving vehicles. When viewed as a stand-alone technology, LLMs are known to be vulnerable to jailbreaking attacks, wherein malicious prompters elicit harmful text by bypassing LLM safety guardrails. To assess the risks of deploying LLMs in robotics, in this paper, we introduce RoboPAIR, the first algorithm designed to jailbreak LLM-controlled robots. Unlike existing, textual attacks on LLM chatbots, RoboPAIR elicits harmful physical actions from LLM-controlled robots, a phenomenon we experimentally demonstrate in three scenarios: (i) a white-box setting, wherein the attacker has full access to the NVIDIA Dolphins self-driving LLM, (ii) a gray-box setting, wherein the attacker has partial access to a Clearpath Robotics Jackal UGV robot equipped with a GPT-4o planner, and (iii) a black-box setting, wherein the attacker has only query access to the GPT-3.5-integrated Unitree Robotics Go2 robot dog. In each scenario and across three new datasets of harmful robotic actions, we demonstrate that RoboPAIR, as well as several static baselines, finds jailbreaks quickly and effectively, often achieving 100% attack success rates. Our results reveal, for the first time, that the risks of jailbroken LLMs extend far beyond text generation, given the distinct possibility that jailbroken robots could cause physical damage in the real world. Indeed, our results on the Unitree Go2 represent the first successful jailbreak of a deployed commercial robotic system. Addressing this emerging vulnerability is critical for ensuring the safe deployment of LLMs in robotics. Additional media is available at: https://robopair.org

연구 동기 및 목표

• LLM 기반 로봇이 안전 정렬 메커니즘을 우회하는 해킹 공격에 얼마나 취약한지 조사하기 위해.
• 로봇 제어 시스템 내 LLM을 해킹하기 위해 특화된 새로운 알고리즘인 ROBOPAIR를 개발하기 위해.
• 화이트박스, GRAY박스, 블랙박스 설정 등 다양한 위협 모델에서 ROBOPAIR의 효과성을 평가하기 위해.
• LLM 통합 로봇의 안전성을 평가하기 위한 새로운 기준과 유해한 로봇 행동의 기준을 설정하기 위해.
• 이번에 처음으로, 해킹된 LLM이 구현된 로봇 시스템을 통해 실제 세계에서 신체적 피해를 유도할 수 있음을 입증하기 위해.

제안 방법

• ROBOPAIR는 물리적 제어 도메인에 PAIR 해킹 프레임워크를 적응시켜, 로봇 시스템 내 LLM의 안전 가드레일을 우회하는 악성 프롬프트를 생성한다.
• 알고리즘은 반복적인 프롬프트 엔지니어링을 통해 정렬 메커니즘을 피하면서도 작업의 일관성을 유지하는 대체 표현 방식을 탐색한다.
• 이 방법은 세 가지 위협 모델에서 작동한다: 완전한 액세스(화이트박스), 부분적 액세스( GRAY박스), 쿼리 전용 액세스(블랙박스)로 다양한 로봇 플랫폼에 적용된다.
• 로봇의 기능과 API 제약 조건에 맞는 도메인 특화 프롬프트 전략을 활용한다.
• 성공 여부는 무기 식별, 인간과의 충돌, 감시와 같은 정의된 유해 행동의 작업 완료 여부로 평가된다.
• 이 방법은 세 대의 실제 로봇에서 검증되었으며, NVIDIA Dolphins(자율주행), Clearpath Jackal UGV, Unitree Go2 로봇 강아지이다.

실험 결과

연구 질문

• RQ1 LLM 기반 로봇는 안전 정렬 메커니즘에도 불구하고, 해킹 공격를 통해 유해한 신체적 행동을 유도당할 수 있는가?
• RQ2 ROBOPAIR는 공격자 액세스 수준(화이트박스, GRAY박스, 블랙박스)에 따라 유해한 로봇 행동을 얼마나 효과적으로 유도할 수 있는가?
• RQ3 LLM 기반 로봇와 LLM 채팅 봇 간에 해킹 성공률와 전략에 어떤 주요 차이점이 있는가?
• RQ4 ROBOPAIR는 실제 상용으로 배포된 로봇 시스템에서 100%의 공격 성공률를 달성할 수 있는가?
• RQ5 LLM 통합 로봇의 안전성을 평가하기 위해 필요한 기준과 평가 프로토콜는 무엇인가?

주요 결과

• ROBOPAIR는 세 가지 실험 시나리오 모두에서 유해한 신체적 행동을 유도하는 데 100%의 공격 성공률를 기록했으며, Unitree Go2 로봇 강아지의 블랙박스 설정에서도 성공했다.
• 상용 로봇 시스템( Unitree Go2)에 대한 첫 번째 성공적 해킹이 이루어졌으며, 이는 로봇 AI 안전 분야에서 중요한 전환점이 되었다.
• GPT-3.5에 대한 쿼리 전용 액세스만으로도 ROBOPAIR가 성공적으로 유해 행동을 유도했으며, 실제 로봇 응용 분야에서 LLM의 취약성을 드러냈다.
• 폭탄 폭발, 감시, 인간과의 충돌 등 세 가지 유해 로봇 작업 기준 모두에서 공격 성공률가 일관되게 높았다.
• 정적 기준도 높은 성공률를 기록했으며, 이는 ROBOPAIR에 국한된 취약성이 아니라 현재 LLM 기반 로봇 제어 아키텍처 전반에 퍼져 있는 체계적인 문제임을 시사한다.
• 결과적으로, 로봇 분야에서의 해킹 위험은 텍스트 생성을 넘어서 실제 환경에서 실질적인 신체적 위험을 초래할 수 있음을 입증했다.