[論文レビュー] Run Time Assurance for Safety-Critical Systems: An Introduction to Safety Filtering Approaches for Complex Control Systems

Kerianne L. Hobbs, Mark Mote+3 more|arXiv (Cornell University)|Oct 7, 2021

Safety Systems Engineering in Autonomy被引用数 8

ひとこと要約

本稿では、制御バリア関数と混合単調性を用いた効率的な到達集合解析により、神経ネットワークや人間の操作者などの複雑または検証されていない主要制御器からの不安全な制御入力をフィルタリングするためのランタイム保証（RTA）という安全制御フレームワークを導入する。RTAはバックアップ制御器を介して安全制約を強制することで、安全を保証する。主な貢献は、主要制御器の再検証を必要とせず、安全を保証するモジュール型で、アーキテクチャに依存しないRTAアーキテクチャであり、F-16のAuto GCASやRobotariumラボでの実世界の応用事例で実証されている。

ABSTRACT

Run Time Assurance (RTA) Systems are online verification mechanisms that filter an unverified primary controller output to ensure system safety. The primary control may come from a human operator, an advanced control approach, or an autonomous control approach that cannot be verified to the same level as simpler control systems designs. The critical feature of RTA systems is their ability to alter unsafe control inputs explicitly to assure safety. In many cases, RTA systems can functionally be described as containing a monitor that watches the state of the system and output of a primary controller, and a backup controller that replaces or modifies control input when necessary to assure safety. An important quality of an RTA system is that the assurance mechanism is constructed in a way that is entirely agnostic to the underlying structure of the primary controller. By effectively decoupling the enforcement of safety constraints from performance-related objectives, RTA offers a number of useful advantages over traditional (offline) verification. This article provides a tutorial on developing RTA systems.

研究の動機と目的

• 航空機やロボット工学分野における安全性が求められる応用分野で、神経ネットワークなどの複雑で知能的な制御システムの検証の難しさに対処すること。
• 性能指向の制御器の形式的検証および認証の負担を軽減し、安全性の確保を性能の目標から分離すること。
• 主制御器の内部構造に依存しないランタイムでの安全性層を提供することで、自律的・準自律的システムの安全な導入を可能にすること。
• F-16のAuto GCASやRobotariumマルチロボットテストベッドといった実世界のシステムにおける実用的RTA実装を示すこと。

提案手法

• RTAは、システム状態と主制御器出力を監視するモニタを用い、不安全な挙動が検出された場合にバックアップ制御器を起動する。
• バックアップ制御器は、制御バリア関数（CBF）を用いて、二次計画法により安全制約を強制することで、不安全な制御入力を変更または置き換える。
• 混合単調性を用いて、2n次元の埋め込みシステムを構築し、摂動がある場合でも効率的な超直方体近似による到達集合の計算を可能にする。
• 分解関数dを活用することで、協力的および競争的状態相互作用を分離し、不確実性を伴うシステムにおける取り扱い可能な到達集合解析を実現する。
• Robotariumラボでは、明示的ASIF（アフィン・セーフ・インプット・フィルタリング）が用いられ、ユーザー指定のロボット制御入力に対して最小限の干渉で滑らかに上書きする。
• 到達集合は、埋め込みシステムの1回のシミュレーションにより計算され、状態軌道の最初と最後のn成分から導かれる境界が用いられる。

実験結果

リサーチクエスチョン

• RQ1 神経ネットワーク制御器などの複雑で検証されていない制御システムに対して、主制御器の完全な形式的検証を要せず、リアルタイムで安全性を保証する方法は何か？
• RQ2 ランタイム保証システムは、自律システムの認証および安全性が求められる分野での導入をどのように可能にするか？
• RQ3 混合単調性と埋め込みシステムを用いて、摂動があるシステムの到達集合解析をどのように効率的に行えるか？
• RQ4 従来のオフラインで性能指向の制御器を検証する方法と比較して、RTAは検証の負担をどのように軽減するか？
• RQ5 無人機やマルチロボットテストベッドなどの実世界システムにおけるRTAの実用的トレードオフと制限要因は何か？

主な発見

• Auto GCASシステムは、9,000フィートの高さで近接衝突の危機的状況からF-16を正常に回復させ、実世界のフライト運用におけるRTAの救命的潜在能力を実証した。
• RTAにより、主制御器の完全な安全性認証を要せず、ハードウェア上に新しい制御アルゴリズムを安全に導入できるようになり、開発および認証に要する時間を大幅に短縮できる。
• 制御バリア関数に基づくRTAシステムは、明示的ASIFとして実装可能であり、望ましいシステム挙動を保持しながら、最小限の干渉で滑らかに上書きを実現する。
• 混合単調性により、摂動がある場合でも、1回のシミュレーションで超直方体近似による到達集合を効率的に計算可能である。
• Robotariumラボでは、RTAがブラックボックスとしてのユーザーが提出したロボット制御アルゴリズムに対して、形式的保証付きの安全性を提供する。
• RTAフレームワークは主制御器の構造に依存せず、再検証を要せず、多様な制御設計にわたって保証メカニズムを再利用可能である。