[论文解读] Jailbreaking LLM-Controlled Robots

Alexander Robey, Zachary Ravichandran+3 more|arXiv (Cornell University)|Oct 17, 2024

Advanced Malware Detection Techniques被引用 4

一句话总结

本文提出了ROBOPAIR，这是首个专为通过对抗性提示诱导有害物理行为而设计的算法，旨在突破大型语言模型（LLM）控制的机器人安全机制。该方法在真实机器人系统上，于白盒、灰盒和黑盒三种环境下均实现了100%的攻击成功率，首次成功实现对商用机器人犬（Unitree Go2）的越狱攻击，揭示了在机器人领域部署LLM所存在的关键安全风险。

ABSTRACT

The recent introduction of large language models (LLMs) has revolutionized the field of robotics by enabling contextual reasoning and intuitive human-robot interaction in domains as varied as manipulation, locomotion, and self-driving vehicles. When viewed as a stand-alone technology, LLMs are known to be vulnerable to jailbreaking attacks, wherein malicious prompters elicit harmful text by bypassing LLM safety guardrails. To assess the risks of deploying LLMs in robotics, in this paper, we introduce RoboPAIR, the first algorithm designed to jailbreak LLM-controlled robots. Unlike existing, textual attacks on LLM chatbots, RoboPAIR elicits harmful physical actions from LLM-controlled robots, a phenomenon we experimentally demonstrate in three scenarios: (i) a white-box setting, wherein the attacker has full access to the NVIDIA Dolphins self-driving LLM, (ii) a gray-box setting, wherein the attacker has partial access to a Clearpath Robotics Jackal UGV robot equipped with a GPT-4o planner, and (iii) a black-box setting, wherein the attacker has only query access to the GPT-3.5-integrated Unitree Robotics Go2 robot dog. In each scenario and across three new datasets of harmful robotic actions, we demonstrate that RoboPAIR, as well as several static baselines, finds jailbreaks quickly and effectively, often achieving 100% attack success rates. Our results reveal, for the first time, that the risks of jailbroken LLMs extend far beyond text generation, given the distinct possibility that jailbroken robots could cause physical damage in the real world. Indeed, our results on the Unitree Go2 represent the first successful jailbreak of a deployed commercial robotic system. Addressing this emerging vulnerability is critical for ensuring the safe deployment of LLMs in robotics. Additional media is available at: https://robopair.org

研究动机与目标

• 探究LLM控制的机器人在面临诱导有害物理行为的越狱攻击时的脆弱性。
• 开发ROBOPAIR，一种专为越狱机器人控制系统中LLM而设计的新颖算法。
• 评估ROBOPAIR在不同威胁模型（白盒、灰盒、黑盒）下的有效性。
• 建立衡量LLM集成机器人安全性的新型有害机器人行为基准。
• 首次证明，越狱后的LLM可通过已部署的机器人系统造成现实世界中的物理伤害。

提出的方法

• ROBOPAIR将PAIR越狱框架适配至物理控制领域，生成可绕过机器人系统中LLM安全防护机制的对抗性提示。
• 该算法通过迭代式提示工程，探索可规避对齐机制但保持任务一致性的替代表达方式。
• 其运行涵盖三种威胁模型：完全访问（白盒）、部分访问（灰盒）和仅查询访问（黑盒）不同机器人平台。
• 该方法利用针对机器人能力与API约束量身定制的领域特定提示策略。
• 通过预设有害行为的任务完成情况评估攻击成功率，例如武器识别、人体碰撞和监视。
• 该方法在三款真实机器人上得到验证：NVIDIA Dolphins（自动驾驶）、Clearpath Jackal UGV和Unitree Go2机器人犬。

实验结果

研究问题

• RQ1 LLM控制的机器人是否能在存在安全对齐机制的情况下被越狱，以执行有害物理行为？
• RQ2 ROBOPAIR在不同攻击者访问级别（白盒、灰盒、黑盒）下诱导有害机器人行为的有效性如何？
• RQ3 LLM控制的机器人与LLM聊天机器人在越狱成功率和策略上存在哪些关键差异？
• RQ4 ROBOPAIR是否能在真实世界、已部署的商用机器人系统上实现100%的攻击成功率？
• RQ5 评估LLM集成机器人安全性所需的基准和评估协议是什么？

主要发现

• ROBOPAIR在所有三个实验场景中，包括对Unitree Go2机器人犬的黑盒环境，均实现了100%的攻击成功率，成功诱导有害物理行为。
• 首次成功实现对已部署商用机器人系统（Unitree Go2）的越狱攻击，标志着机器人AI安全领域的一项关键里程碑。
• 即使在仅能通过GPT-3.5进行查询访问的黑盒环境中，ROBOPAIR仍成功诱导出有害行为，凸显了LLM在真实机器人应用中的脆弱性。
• 在涵盖炸弹引爆、监视和人体碰撞等三类有害机器人任务的基准测试中，攻击成功率始终保持高度一致。
• 静态基线方法也取得了高成功率，表明该漏洞并非ROBOPAIR独有，而是当前基于LLM的机器人控制架构的系统性缺陷。
• 结果表明，机器人领域的越狱风险远超文本生成范畴，已在真实环境中构成切实的物理威胁。