[논문 리뷰] Run Time Assurance for Safety-Critical Systems: An Introduction to Safety Filtering Approaches for Complex Control Systems

Kerianne L. Hobbs, Mark Mote외 3명|arXiv (Cornell University)|2021. 10. 07.

Safety Systems Engineering in Autonomy인용 수 8

한 줄 요약

이 논문은 런타임 보증(RTA)을 도입하여 복잡하거나 검증되지 않은 주요 제어기(예: 신경망 또는 인간 운영자)로부터 안전하지 않은 제어 입력을 백업 제어기를 통해 안전 제약 조건을 강제하여 온라인 검증을 통해 거르는 안전 중심 제어 프레임워크를 제시한다. 주요 기여는 주요 제어기의 재검증 없이도 안전성을 보장하는 모듈식이며 제어기 구조에 관계없는 RTA 아키텍처를 제공하는 것으로, 제어 장벽 함수와 혼합 단조성( mixed monotonicity)을 활용한 효율적인 타당 영역 분석을 통해 실세계 응용 사례(예: Auto GCAS 및 Robotarium 실험실)에서 이를 입증하였다.

ABSTRACT

Run Time Assurance (RTA) Systems are online verification mechanisms that filter an unverified primary controller output to ensure system safety. The primary control may come from a human operator, an advanced control approach, or an autonomous control approach that cannot be verified to the same level as simpler control systems designs. The critical feature of RTA systems is their ability to alter unsafe control inputs explicitly to assure safety. In many cases, RTA systems can functionally be described as containing a monitor that watches the state of the system and output of a primary controller, and a backup controller that replaces or modifies control input when necessary to assure safety. An important quality of an RTA system is that the assurance mechanism is constructed in a way that is entirely agnostic to the underlying structure of the primary controller. By effectively decoupling the enforcement of safety constraints from performance-related objectives, RTA offers a number of useful advantages over traditional (offline) verification. This article provides a tutorial on developing RTA systems.

연구 동기 및 목표

• 항공 및 로봇 공학 분야와 같은 안전 중심 응용 분야에서 복잡하고 지능적인 제어 시스템(특히 신경망)의 검증 증가 문제를 해결하기 위해.
• 성능 중심 제어기의 형식적 검증 및 인증 부담을 줄이기 위해 안전 보장 기능을 성능 목표에서 분리하기 위해.
• 주요 제어기의 내부 구조에 관계없이 독립적인 런타임 안전 계층을 제공하여 자율 및 반자율 시스템의 안전한 구현을 가능하게 하기 위해.
• F-16의 Auto GCAS 및 Robotarium 다중 로봇 테스트베드와 같은 실세계 시스템에서의 실용적 RTA 구현 사례를 제시하기 위해.

제안 방법

• RTA는 시스템 상태와 주요 제어기 출력을 모니터링하는 모니터를 사용하며, 안전하지 않은 동작이 감지될 경우 백업 제어기를 활성화한다.
• 백업 제어기는 제어 장벽 함수(CBF)를 사용하여 안전 제약 조건을 강제하며, 이는 2차 프ogramming을 통해 불안전한 제어 입력을 수정하거나 대체한다.
• 혼합 단조성은 타당 영역을 효율적으로 초과 근사하기 위한 2n차원 임베딩 시스템을 구성하는 데 사용되며, 외부 영향이 있는 상황에서도 효율적인 분석이 가능하다.
• 분해 함수 d는 협력적 및 경쟁적 상태 상호작용을 분리하여 불확실성이 있는 시스템에 대한 분석 가능성을 높인다.
• Robotarium 실험실에서는 명시적 ASIF(Affine-Safe Input Filtering)를 사용하여 사용자가 지정한 로봇 제어 입력에 대해 최소한의 간섭으로 부드럽게 오버라이드한다.
• 타당 영역은 임베딩 시스템의 단일 시뮬레이션을 통해 계산되며, 상태 궤적의 첫 번째 및 마지막 n개 성분에서 유도된 경계를 사용한다.

실험 결과

연구 질문

• RQ1 복잡하고 검증되지 않은 제어 시스템(예: 신경망 제어기)에 대해 주요 제어기의 완전한 형식적 검증 없이도 실시간으로 안전성을 보장할 수 있는 방법은 무엇인가?
• RQ2 런타임 보증 시스템은 자율 시스템의 인증 및 안전 중심 분야에서의 구현을 어떻게 가능하게 하는가?
• RQ3 혼합 단조성과 임베딩 시스템을 활용해 외란이 있는 시스템에 대해 어떻게 효율적인 타당 영역 분석을 수행할 수 있는가?
• RQ4 伝통적인 오프라인 검증에 비해 RTA는 성능 중심 제어기의 검증 부담을 어떻게 줄이는가?
• RQ5 무인 항공기 및 다중 로봇 테스트베드와 같은 실세계 시스템에서 RTA의 실용적 트레이드오프와 제약 조건은 무엇인가?

주요 결과

• Auto GCAS 시스템은 9,000피트 고도에서 근접 충돌 위기 상황에서 F-16을 성공적으로 회복시켜 RTA의 실세계 비행 운영에서 생명을 구할 잠재력을 입증하였다.
• RTA는 주요 제어기의 완전한 안전 인증 없이도 하드웨어에 새로운 제어 알고리즘을 안전하게 배포할 수 있도록 하여 개발 및 인증 시간을 크게 단축시켰다.
• 제어 장벽 함수 기반 RTA 시스템은 명시적 ASIF로 구현될 수 있으며, 이는 원하는 시스템 동작을 유지하면서도 최소한의 간섭으로 부드럽게 오버라이드한다.
• 혼합 단조성은 외부 영향이 있는 상황에서도 단일 시뮬레이션을 통해 초과 근사된 타당 영역을 효율적으로 계산할 수 있도록 한다.
• Robotarium 실험실에서는 사용자가 제출한 로봇 제어 알고리즘을 블랙박스로 간주하고 실시간 필터링을 적용하여 증명 가능성이 있는 안전성을 보장한다.
• RTA 프레임워크는 주요 제어기의 구조에 관계없이 적용 가능하므로, 재검증 없이도 다양한 제어 설계에 대해 보증 메커니즘의 재사용이 가능하다.