[논문 리뷰] Plug in the Safety Chip: Enforcing Constraints for LLM-driven Robot Agents

Ziyi Yang, Shreyas Sundara Raman외 2명|arXiv (Cornell University)|2023. 09. 18.

Natural Language Processing TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 LLM 기반 로봇 에이전트를 위한 안전성 제약 모듈을 제안하며, 자연어로 된 안전 지침을 공식적인 선형 시간 논리(LTL) 사양으로 변환하여 런타임 검증, 위반 사유 설명 및 안전하지 않은 동작의 제거를 가능하게 한다. 이 시스템은 시뮬레이션 및 실제 로봇 환경 모두에서 안전 제약을 엄격히 준수함으로써 산업 현장에의 도입에 적합한 확장성과 신뢰성을 입증한다.

ABSTRACT

Recent advancements in large language models (LLMs) have enabled a new research domain, LLM agents, for solving robotics and planning tasks by leveraging the world knowledge and general reasoning abilities of LLMs obtained during pretraining. However, while considerable effort has been made to teach the robot the "dos," the "don'ts" received relatively less attention. We argue that, for any practical usage, it is as crucial to teach the robot the "don'ts": conveying explicit instructions about prohibited actions, assessing the robot's comprehension of these restrictions, and, most importantly, ensuring compliance. Moreover, verifiable safe operation is essential for deployments that satisfy worldwide standards such as ISO 61508, which defines standards for safely deploying robots in industrial factory environments worldwide. Aiming at deploying the LLM agents in a collaborative environment, we propose a queryable safety constraint module based on linear temporal logic (LTL) that simultaneously enables natural language (NL) to temporal constraints encoding, safety violation reasoning and explaining, and unsafe action pruning. To demonstrate the effectiveness of our system, we conducted experiments in VirtualHome environment and on a real robot. The experimental results show that our system strictly adheres to the safety constraints and scales well with complex safety constraints, highlighting its potential for practical utility.

연구 동기 및 목표

• LLM 에이전트에게 작업 능력 외에도 '하지 말 것들'(금지 행동)을 가르치는 데 있어 근본적인 격차를 보완하기 위해.
• 특히 ISO 61508 기준 하에 산업 현장에 적용 가능한 검증 가능하고 표준 준수 안전 운영을 실현하기 위해.
• 자연어 입력, 공식적 제약 조건 검증, 활성 재계획 기능을 지원하는 쿼리 가능한 안전성 모듈을 통합하기 위해.
• 복잡한 사용자 정의 제약 조건 하에서도 안전성 강제 이행의 강건성과 확장성을 확보하기 위해.

제안 방법

• 프롬프팅 기반 접근 방식을 사용하여 자연어 안전 지침을 공식적인 선형 시간 논리(LTL) 공식으로 변환한다.
• 런타임 모니터링을 활용하여 에이전트의 행동이 LTL 제약 조건을 실시간으로 충족하는지 검증한다.
• 위반이 감지될 경우 LLM 기반의 재프롬프팅을 통해 안전한 대체 계획을 생성함으로써 작업 완수를 보장하면서도 안전성 위반을 방지한다.
• 각 상태에서 원자 명제의 진리값을 추적하며, 각 동작을 조건들의 논리적 합성으로 '안전' 또는 '위반'으로 레이블링한다.
• LTL 공식의 구성 요소를 자연어로 다시 매핑하여 위반 사유에 대한 인간이 이해할 수 있는 설명을 생성한다.
• 기존 LLM 에이전트 프레임워크에 플러그인 방식으로 안전성 모듈을 통합하여 다양한 NLP 백본과의 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 자연어 기반 안전 제약 조건을 인간이 이해할 수 있고 기계로 검증할 수 있는 공식적인 LTL 사양으로 신뢰성 있게 변환할 수 있는가?
• RQ2 LLM 기반 에이전트는 의사결정 과정에서 시간적 안전 제약 조건 위반 사항을 얼마나 효과적으로 감지하고 설명할 수 있는가?
• RQ3 재프롬프팅을 통해 시스템이 얼마나 잘 안전하지 않은 동작을 제거하고 준수 가능한 대체 계획을 생성할 수 있는가?
• RQ4 실제 로봇 작업에서 안전 제약 조건의 복잡성이 증가함에 따라 안전성 모듈의 확장성은 얼마나 잘 유지되는가?

주요 결과

• 시스템은 가상 홈 시뮬레이션과 실제 로봇 배포 환경에서 모두 지정된 모든 안전 제약 조건을 성공적으로 준수하였으며, 테스트 기간 동안 위반 사례가 관찰되지 않았다.
• LLM가 생성한 안전 위반 설명은 기반 LTL 공식의 구성 요소를 정확히 반영하며 인간의 사고 방식과 일치한다.
• 재프롬프팅 메커니즘은 안전하지 않은 동작 제안에 대해 새로운 준수 가능한 계획을 생성함으로써 에이전트가 작업 실패 없이 복구할 수 있도록 한다.
• 복잡한 제약 조건에 대해서도 안전성 모듈은 효과적으로 확장되며, 런타임 모니터링에서 낮은 지연과 높은 정확도를 유지한다.
• 기존 LLM 에이전트에 안전성 칩을 통합함에 있어 작업 성능 저하가 발생하지 않아, 에이전트의 계획 수립 및 추론 능력이 그대로 유지된다.
• 시스템은 다양한 LLM 프레임워크와 호환되며, 다양한 로봇 에이전트 아키텍처에 즉시 통합 가능한 플러그 앤 플레이 배포를 지원한다.