[논문 리뷰] The Safety Filter: A Unified View of Safety-Critical Control in Autonomous Systems

Kai–Chieh Hsu, Haimin Hu외 1명|arXiv (Cornell University)|2023. 09. 11.

Fault Detection and Control SystemsEngineering인용 수 3

한 줄 요약

이 논문은 제어 장벽 함수, 모델 예측 제어, 학습된 증명서와 같은 다양한 안전 필터 접근법 간의 공통 모듈러 구조를 규명함으로써 자율 시스템에서 안전성이 핵심적인 제어를 위한 통합 이론적 프레임워크를 제안한다. 유니버설 안전 필터 정리(Universal Safety Filter Theorem)를 도입하여 이러한 방법들을 분석하고 조합할 수 있는 증명 가능하고 정당화된 기초를 제공함으로써, 학습 기반 및 모델 기반 제어 시스템에서 확장 가능하고 강건하며 효율적인 안전 보장이 가능해진다.

ABSTRACT

Recent years have seen significant progress in the realm of robot autonomy, accompanied by the expanding reach of robotic technologies. However, the emergence of new deployment domains brings unprecedented challenges in ensuring safe operation of these systems, which remains as crucial as ever. While traditional model-based safe control methods struggle with generalizability and scalability, emerging data-driven approaches tend to lack well-understood guarantees, which can result in unpredictable catastrophic failures. Successful deployment of the next generation of autonomous robots will require integrating the strengths of both paradigms. This article provides a review of safety filter approaches, highlighting important connections between existing techniques and proposing a unified technical framework to understand, compare, and combine them. The new unified view exposes a shared modular structure across a range of seemingly disparate safety filter classes and naturally suggests directions for future progress towards more scalable synthesis, robust monitoring, and efficient intervention.

연구 동기 및 목표

• 안전성 핵심 제어 문헌의 분열 문제를 해결하기 위해, 공통 이론적 프레임워크 아래에서 다양한 안전 필터 기법을 통합하기 위해.
• 기존의 모델 기반 및 데이터 기반 접근법을 포함한 안전 필터 방법의 체계적 비교, 조합, 융합을 가능하게 하기 위해.
• 향후 연구를 위한 확장성, 런타임 모니터링, 간섭 효율성 등의 핵심 과제를 규명하기 위해.
• 기존의 모델 기반 안전 방법과 형식적 보장을 갖추지 못한 신규 데이터 기반 기법 사이의 격차를 메우기 위해.
• 학습과 증명 가능한 안전성을 모듈러하고 조합 가능한 프레임워크를 통해 자율 시스템에 통합하기 위한 길라스를 제공하기 위해.

제안 방법

• 기본 정책의 불안전한 동작을 오버라이드하는 안전 필터를 포함한 공통 모듈러 구조를 기반으로 한 유니버설 안전 필터 프레임워크를 도입한다.
• 불확실성 하에서 안전성을 유지하는지 검증하는 런타임 안전 검증 메커니즘을 정의함으로써 안전 필터를 정의한다.
• 유니버설 안전 필터 정리(Universal Safety Filter Theorem)를 제안하여, 시간에 따라 재귀적 안전 조건을 만족하는 안전 필터가 증명 가능하게 정확한 안전 필터임을 특성화한다.
• 안전 가치 함수를 정의하기 위해 HJ(Hamilton-Jacobi) 도달 가능성 프레임워크를 사용하며, 이는 암묵적인 제어 장벽 함수로 기능한다.
• 오프라인 신경 정책 학습과 강건한 롤아웃 기반 모니터링 및 통계적 경계를 통한 런타임 인증을 통합한다.
• 대칭 강화 학습을 활용하여 안전 제어기와 최악의 외란 정책을 함께 훈련시킴으로써, 이са크스 방정식의 근사적 해를 통한 보수적이지만 효과적인 안전 보장이 가능해진다.

실험 결과

연구 질문

• RQ1 제어 장벽 함수에서 학습된 증명서에 이르기까지 다양한 안전 필터 방법들이 단일 이론적 프레임워크 아래에서 어떻게 통합될 수 있는가?
• RQ2 특정 구현 방식에 관계없이 증명 가능하게 정확한 안전 필터들이 공유하는 공통적인 구조적 및 수학적 성질은 무엇인가?
• RQ3 시스템 복잡성과 상태 차원 수에 비례하여 효율적으로 확장될 수 있도록 안전 필터를 어떻게 설계할 수 있는가?
• RQ4 성능나 안전 보장의 손실 없이 학습 기반 정책을 형식적 검증 기법과 안전하게 통합할 수 있는 방법은 무엇인가?
• RQ5 상호작용 환경에서 의미 있는 비보수적 안전 보장을 확보할 수 있는 최소한의 환경 동역학 및 에이전트 행동에 대한 가정은 무엇인가?

주요 결과

• 유니버설 안전 필터 정리는 안전 필터가 증명 가능하게 정확한지를 판단하기 위한 필수 및 충분 조건을 제공하며, 다양한 안전 필터 클래스를 단일 형식적 기준 아래 통합한다.
• HJ 도달 가능성 기반 안전 필터는 암묵적인 제어 장벽 함수로 해석될 수 있으며, 이는 부드러운 간섭 메커니즘을 사용할 수 있고 형식적 안전 보장을 갖춘다.
• 대칭 강화 학습은 안전 제어기와 최악의 외란 모델을 함께 훈련시켜 이사크스 방정식의 근사적 해를 통한 강건성을 향상시킨다.
• 강건한 롤아웃 기반 모니터링을 통한 런타임 인증은 학습된 백업 정책을 사용할 경우에도 확률적 안전 보장을 제공하지만, 다소의 보수성(cost)을 수반한다.
• 안전 필터의 모듈러 구조는 여러 안전 메커니즘의 효율적 조합을 가능하게 하며, 예를 들어 학습된 증명서와 모델 예측 제어를 결합하는 데 유용하다.
• 이 프레임워크는 안전성과 성능의 분리가 뿐만 아니라 기초적인 원리이기도 하며, 기본 정책이 열등하거나 학습된 상태여도 안전한 운영이 가능하게 한다.