[論文レビュー] Plug in the Safety Chip: Enforcing Constraints for LLM-driven Robot Agents

Ziyi Yang, Shreyas Sundara Raman+2 more|arXiv (Cornell University)|Sep 18, 2023

Natural Language Processing TechniquesComputer Science被引用数 3

ひとこと要約

本論文は、LLM駆動のロボットエージェント向けに、自然言語による安全指針を形式的線形時相論理（LTL）仕様に変換する安全制約モジュールを提案する。これにより実行時検証、違反の説明、不安全行動の pruning が可能となり、シミュレート環境および現実世界のロボット環境において、安全制約の厳密な準拠を確保する。本システムは、産業用デプロイメントに適したスケーラビリティと信頼性を示している。

ABSTRACT

Recent advancements in large language models (LLMs) have enabled a new research domain, LLM agents, for solving robotics and planning tasks by leveraging the world knowledge and general reasoning abilities of LLMs obtained during pretraining. However, while considerable effort has been made to teach the robot the "dos," the "don'ts" received relatively less attention. We argue that, for any practical usage, it is as crucial to teach the robot the "don'ts": conveying explicit instructions about prohibited actions, assessing the robot's comprehension of these restrictions, and, most importantly, ensuring compliance. Moreover, verifiable safe operation is essential for deployments that satisfy worldwide standards such as ISO 61508, which defines standards for safely deploying robots in industrial factory environments worldwide. Aiming at deploying the LLM agents in a collaborative environment, we propose a queryable safety constraint module based on linear temporal logic (LTL) that simultaneously enables natural language (NL) to temporal constraints encoding, safety violation reasoning and explaining, and unsafe action pruning. To demonstrate the effectiveness of our system, we conducted experiments in VirtualHome environment and on a real robot. The experimental results show that our system strictly adheres to the safety constraints and scales well with complex safety constraints, highlighting its potential for practical utility.

研究の動機と目的

• LLMエージェントに『してはいけない』行動（禁止行動）を、タスク能力と併せて教えるという、極めて重要なギャップを埋める。
• 特に ISO 61508 に準拠した産業用デプロイメントを想定し、検証可能で基準準拠の安全運用を実現する。
• 自然言語入力、形式的制約チェック、アクティブな再計画をサポートするクエリ可能な安全モジュールを統合する。
• 複雑でユーザー定義の制約下でも、安全制約の強制のロバストネスとスケーラビリティを確保する。

提案手法

• プロンプトベースのアプローチを用いて、自然言語による安全指針を形式的線形時相論理（LTL）式に変換する。
• 実行時モニタリングを採用し、エージェントの行動がLTL制約をリアルタイムに満たしているかを検証する。
• 違反が検出された場合に、LLMを用いた再プロンプトにより代替計画を生成し、安全を損なわずにタスクを完了させる。
• 各状態における原子命題の真偽値を追跡し、各行動を「安全」または「違反」とラベル付けする。その際、条件の論理積を用いて評価する。
• LTL式の構成要素を自然言語に戻すことで、違反の説明を人間が理解できる形で生成する。
• 既存のLLMエージェントフレームワークに統合可能なプラグインとして安全モジュールを実装し、多様なNLPバックボーンとの互換性を維持する。

実験結果

リサーチクエスチョン

• RQ1 自然言語による安全制約を、人間が理解可能で機械でも検証可能な正式なLTL仕様に信頼性高く変換できるか？
• RQ2 LLM駆動エージェントは、意思決定プロセス中に時間的制約をもつ安全制約の違反を、どの程度効果的に検出し、説明できるか？
• RQ3 再プロンプトにより、不安全な行動をプルーニングし、準拠する代替計画を生成する能力は、どの程度高いか？
• RQ4 実世界のロボットタスクにおける安全制約の複雑さが増した場合、安全モジュールはどの程度スケーリングするか？

主な発見

• 本システムは、VirtualHomeシミュレーションおよび実際のロボットデプロイメントの両方で、指定されたすべての安全制約を厳密に遵守しており、テスト中に違反は観測されなかった。
• LLMが生成した違反の説明は、背後にあるLTL式の構成要素を正確に反映しており、人間の推論と整合している。
• 再プロンプト機構により、エージェントは不安全な行動提案から回復し、タスク失敗を伴わずに新たな準拠計画を生成できる。
• 安全モジュールは、複雑な制約に対しても効果的にスケーリングし、実行時モニタリングにおいて低レイテンシと高い正確性を維持している。
• 既存のLLMエージェントへの安全チップの統合は、タスクパフォーマンスに悪影響を及げず、エージェントの計画および推論能力をそのままで保持している。
• 本システムは多様なLLMフレームワークと互換性があり、さまざまなロボットエージェントアーキテクチャへのプラグアンドプレイ型デプロイメントをサポートしている。