[論文レビュー] Safety Guarantees for Neural Network Dynamic Systems via Stochastic Barrier Functions

Rayan Mazouz, Karan Muvvala+3 more|arXiv (Cornell University)|Jun 15, 2022

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本稿では、確率的バリア関数を用いた凸最適化に基づくフレームワークを提案し、ニューラルネットワーク動的モデル（NNDMs）の安全性保証を提供する。ニューラルネットワークの区分線形近似と平方和最適化を活用することで、安全性確率の下界を計算し、線形計画法により最小限の干渉で制御則を合成し、必要に応じて安全性を向上させる。本手法は、100〜数百ニューロンを有する多変数NNDMsに対してもスケーラブルであることを示している。

ABSTRACT

Neural Networks (NNs) have been successfully employed to represent the state evolution of complex dynamical systems. Such models, referred to as NN dynamic models (NNDMs), use iterative noisy predictions of NN to estimate a distribution of system trajectories over time. Despite their accuracy, safety analysis of NNDMs is known to be a challenging problem and remains largely unexplored. To address this issue, in this paper, we introduce a method of providing safety guarantees for NNDMs. Our approach is based on stochastic barrier functions, whose relation with safety are analogous to that of Lyapunov functions with stability. We first show a method of synthesizing stochastic barrier functions for NNDMs via a convex optimization problem, which in turn provides a lower bound on the system's safety probability. A key step in our method is the employment of the recent convex approximation results for NNs to find piece-wise linear bounds, which allow the formulation of the barrier function synthesis problem as a sum-of-squares optimization program. If the obtained safety probability is above the desired threshold, the system is certified. Otherwise, we introduce a method of generating controls for the system that robustly maximizes the safety probability in a minimally-invasive manner. We exploit the convexity property of the barrier function to formulate the optimal control synthesis problem as a linear program. Experimental results illustrate the efficacy of the method. Namely, they show that the method can scale to multi-dimensional NNDMs with multiple layers and hundreds of neurons per layer, and that the controller can significantly improve the safety probability.

研究の動機と目的

• ニューラルネットワーク動的モデル（NNDMs）に形式的な安全性保証が欠如している問題に対処すること。NNDMsは広く使用されているが、安全性の検証が不十分である。
• トレーリングの展開を必要とせずに、NNDMsの軌道の安全性確率の下界を計算する手法を開発すること。
• 認証に失敗した場合に、安全性確率を強固に向上させる最小限の干渉型制御則合成戦略を設計すること。
• 複数層と1層あたり数百ニューロンを有する高次元NNDMsへのスケーラビリティを確保すること。
• 凸最適化を用いて安全性認証と制御則合成を統合した、構築段階から正しく動作するフレームワークを提供すること。

提案手法

• 安全性保証を確率的バリア関数を用いて定式化し、非負のスーパーマーティングル特性により安全領域の前向き不変性を保証する。
• 最近の凸近似技術に依拠して、ニューラルネットワークの動的特性に対する区分線形境界を導出し、バリア関数合成問題の凸緩和を可能にする。
• バリア関数合成問題を平方和（SOS）最適化問題に再定式化し、効率的な凸ソルバーで解けるようにする。
• 安全性確率がしきい値未満に下がった場合、バリア関数の凸性を活用して最適制御則合成を線形計画問題として定式化する。
• ニューラルネットワークの区間および線形境界を用いて、動的特性の保守的な下界および上界近似を計算し、安全性分析のロバスト性を高める。
• 高リスク領域（高βq）でのみ作動する最小限の干渉型制御則を導入し、不要な制御介入を低減する。

実験結果

リサーチクエスチョン

• RQ1 ノイズを含む反復的予測を伴うNNDMsに対して、確率的バリア関数を形式的な安全性保証に効果的に適応できるか？
• RQ2 ニューラルネットワークの非線形性を考慮しても、NNDMsの確率的バリア関数合成を凸最適化問題に還元できるか？
• RQ3 ニューラルネットワークの区分線形近似が、高次元NNDMsにおけるスケーラブルな安全性検証をどの程度可能にするか？
• RQ4 最小限の干渉型制御則を合成し、システム性能を保持したまま安全性確率を強固に向上させられるか？
• RQ5 離散化の選択（|Q|）が、安全性確率の精度と計算コストのトレードオフにどのように影響するか？

主な発見

• 1層のCartpoleモデルでは、|Q|を960から3840に増加させたところ、安全性確率が0.375から0.599に上昇したが、計算時間は12倍以上に増加した。
• 2層の4次元Huskyモデルでは、|Q|を1800から4800に増加させたところ、安全性確率が0.010から0.384に上昇し、計算時間は5倍以上に増加した。
• 線形境界を用いることで、2つの例外を除き、すべてのNNDMsで安全性確率が≥0.95に達した。特に、4次元Husky（2層、|Q|=1800）ではP_sが0.010から0.800に、1層5次元Husky（|Q|=432）では0.000から0.949に上昇した。
• 2層のPendulum NNDMでは、制御介入率が|Q|=120のとき100%から|Q|=480のとき23.75%に低下し、最小限の干渉性を示した。
• すべてのケースにおいて、βqパラメータが10^-6に低下し、安全性違反に対する高いロバスト性を示した。
• 本フレームワークは、複数層と1層あたり数百ニューロンを有する多変数NNDMsに対してもスケーラブルに動作することが、強化学習で学習されたベンチマークを用いて検証された。