[論文レビュー] Safe Control with Neural Network Dynamic Models

Tianhao Wei, Changliu Liu|arXiv (Cornell University)|Oct 3, 2021

Fault Detection and Control Systems参考文献 12被引用数 8

ひとこと要約

本稿では、進化計算を用いたオフラインでの安全指標合成と、混合整数プログラミングによるオンライン最適制御を組み合わせることで、ニューラルネットワーク動的モデル（NNDMs）に対する安全な制御を合成する最初の手法、MIND-SISを提案する。安全集合の前向き不変性を保証し、数値的検証において10^{-8}未満の最適性ギャップとゼロの安全違反を達成した。

ABSTRACT

Safety is critical in autonomous robotic systems. A safe control law ensures forward invariance of a safe set (a subset in the state space). It has been extensively studied regarding how to derive a safe control law with a control-affine analytical dynamic model. However, in complex environments and tasks, it is challenging and time-consuming to obtain a principled analytical model of the system. In these situations, data-driven learning is extensively used and the learned models are encoded in neural networks. How to formally derive a safe control law with Neural Network Dynamic Models (NNDM) remains unclear due to the lack of computationally tractable methods to deal with these black-box functions. In fact, even finding the control that minimizes an objective for NNDM without any safety constraint is still challenging. In this work, we propose MIND-SIS (Mixed Integer for Neural network Dynamic model with Safety Index Synthesis), the first method to derive safe control laws for NNDM. The method includes two parts: 1) SIS: an algorithm for the offline synthesis of the safety index (also called as barrier function), which uses evolutionary methods and 2) MIND: an algorithm for online computation of the optimal and safe control signal, which solves a constrained optimization using a computationally efficient encoding of neural networks. It has been theoretically proved that MIND-SIS guarantees forward invariance and finite convergence. And it has been numerically validated that MIND-SIS achieves safe and optimal control of NNDM. From our experiments, the optimality gap is less than $10^{-8}$, and the safety constraint violation is $0$.

研究の動機と目的

• ブラックボックス型ニューラルネットワーク動的モデル（NNDMs）に対する安全制御則を導出する計算的に実行可能な手法の不足に対処すること。
• NNDMの不確実性および非線形性が存在する状況において、持続的妥当性と前向き不変性を保証すること。
• 制御不変性を持つ安全指標を合成し、オンラインで最適な安全制御入力を計算する統合フレームワークを開発すること。
• 複雑な制約下でも、NNDMに基づく制御における最適性と安全の保証を達成すること。

提案手法

• SIS（安全指標合成）は、進化計算を用いて、安全集合の前向き不変性を保証するパラメータ化された安全指標（バリア関数）を学習する。
• MIND（ニューラルネットワーク動的モデル用混合整数）は、NNDMを混合整数プログラミング（MIP）に符号化することで、正確で完全かつ最適な制御計算を可能にする。
• MIP定式化は、ReLU活性化関数を分岐制約で表現することにより、NNDMsの非線形的・ブラックボックス的性質を効率的に扱う。
• 安全指標はオフラインで最適化され、その結果得られる制御入力が持続的妥当性を保ち、不適切な状態を避けることを保証する。
• 本手法は、ユーザーが定義した安全集合への有限時間内収束を保証し、構成上すべての安全制約を満たす。
• 安全指標は、NNDMおよび安全制約を尊重しながら追従誤差を最小化する制約付き最適化問題と統合される。

実験結果

リサーチクエスチョン

• RQ1 解析的力学に依存せずに、NNDMsに対して前向き不変性と持続的妥当性を保証する安全指標を自動的に合成できるか？
• RQ2 ブラックボックス的・非線形的性質を持つNNDMsに対して、計算的に効率的かつ完全な方法で最適な安全制御を計算できるか？
• RQ3 MIP符号化と進化計算最適化の組み合わせが、NNDM制御における最適性と安全性を両立できるか？
• RQ4 複雑なシナリオにおいて、手動で設計された安全指標と比較して、提案手法の性能ギャップと安全違反率はどの程度か？

主な発見

• 数値的検証において、MIND-SISは10^{-8}未満の最適性ギャップを達成しており、制御計算におけるほぼ完全な最適性を示している。
• 本手法は、全テストシナリオにおいてゼロの安全制約違反を保証しており、複数障害物環境や安全追従タスクを含む。
• 学習済み安全指標（\phi^l）は、100回のランダムな衝突回避タスクにおいて100％の成功率を達成し、元の（\phi_0）および手動チューニング済み（\phi^h）指標を上回った。
• 衝突回避および安全追従タスクの両方において、学習済み安全指標は0％の不適切な状態率および0％の\phi_0違反率を確保した。
• 本手法は、未観測の複数障害物環境においても持続的妥当性を維持しており、一般化能力を示した。
• 理論的解析により、合成された安全指標のもとで、MIND-SISが安全集合への前向き不変性および有限時間内収束を保証することが確認された。