[論文レビュー] Provably Correct Training of Neural Network Controllers Using Reachability Analysis

Xiaowu Sun, Yasser Shoukry|arXiv (Cornell University)|Feb 22, 2021

Adversarial Robustness in Machine Learning参考文献 46被引用数 4

ひとこと要約

本稿では、到達可能性解析と新規の重み射影演算子を組み合わせることで、安全かつライブネス保証を備えたReLUニューラルネットワーク制御則の学習フレームワークを提案する。システムの有限状態抽象モデルを構築し、安全かつライブネスを満たす連続的区分的アフィン（CPWA）関数を同定する。その後、射影を用いて訓練中にこれらの関数を強制することで、後処理による検証や実行時監視を必要とせず、正しさを保証する。

ABSTRACT

In this paper, we consider the problem of training neural network (NN) controllers for nonlinear dynamical systems that are guaranteed to satisfy safety and liveness (e.g., reach-avoid) properties. Our approach is to combine model-based design methodologies for dynamical systems with data-driven approaches to achieve this target. We confine our attention to NNs with Rectifier Linear Unit (ReLU) nonlinearity which are known to represent Continuous Piece-Wise Affine (CPWA) functions. Given a mathematical model of the dynamical system, we compute a finite-state abstract model that captures the closed-loop behavior under all possible CPWA controllers. Using this finite-state abstract model, our framework identifies a family of CPWA functions guaranteed to satisfy the safety requirements. We augment the learning algorithm with a NN weight projection operator during training that enforces the resulting NN to represent a CPWA function from the provably safe family of CPWA functions. Moreover, the proposed framework uses the finite-state abstract model to identify candidate CPWA functions that may satisfy the liveness properties. Using such candidate CPWA functions, the proposed framework biases the NN training to achieve the liveness specification. We show the efficacy of the proposed framework both in simulation and on an actual robotic vehicle.

研究の動機と目的

• 安全なサイバー物理システムにおけるデータ駆動型ニューラルネットワーク制御則に、形式的かつ安全で信頼性の高い保証が欠如している問題に対処すること。
• 後処理による検証や実行時監視に依存せずに、ニューラルネットワーク制御則が安全およびライブネス特性を満たすことを保証する学習フレームワークを開発すること。
• モデルベースの到達可能性解析とデータ駆動型学習を統合し、形式的正しさを保証する制御則の学習プロセスを導くこと。
• ロボットプラットフォームに実世界での適用を可能にする、形式的正しさ保証付きのニューラルネットワーク制御則の実装を可能にすること。

提案手法

• 非線形力学的システムの有限状態抽象モデルを構築し、あらゆる可能な連続的区分的アフィン（CPWA）制御則の下での閉ループ動作を捉える。
• 到達可能性解析を用いて到達集合を計算し、すべての初期状態において安全を保証するCPWA関数の族を同定する。
• 訓練中に導入された新規のニューラルネットワーク重み射影演算子により、学習された重みが形式的に安全な族に属するCPWA関数のみを表すように制約を加える。
• 抽象モデルを用いてライブネス特性を満たす可能性のあるCPWA関数の候補を同定し、順位付けを行い、訓練プロセスにそれらをバイアスとして組み込む。
• Proximal Policy Optimization（PPO）に射影演算子を適用し、PiCarというロボット車両に対してフレームワークを適用し、安全およびライブネスを満たす制御則を学習する。
• 到達集合計算、事後グラフ構築、局所的ニューラルネットワーク訓練などの主要コンponentを並列化することでスケーラビリティを向上させる。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型のニューラルネットワーク制御則の学習フレームワークは、後処理による検証や実行時監視に依存せずに、安全およびライブネスを保証できるか？
• RQ2 到達可能性解析をどのように用いて、あらゆる可能なReLUニューラルネットワーク制御則の挙動を抽象化し、安全なCPWA関数の族を同定できるか？
• RQ3 重み射影演算子が、訓練中に学習された制御則が形式的に安全なCPWA関数の族内に留まるように制限する程度はどの程度か？
• RQ4 ライブネスは射影によって直接は強制できないが、抽象モデルをどのように活用して訓練をライブネスの満たす方向に導けるか？
• RQ5 実世界のロボット制御タスクにおけるシステム次元数および分割の細かさに関して、このフレームワークのスケーラビリティはどの程度か？

主な発見

• 本フレームワークは、レーストラックを複数周回するシミュレーションおよび実世界でのデプロイメントにおいて、PiCarというロボット車両のニューラルネットワーク制御則が安全特性φ_safetyを満たすことを成功裏に学習した。
• フレームワークの実行時間は抽象状態数および制御則の分割数に比例して線形に増加し、中程度の分割に対して良好なスケーラビリティを示している。
• システム次元数が増加するに従い、抽象状態数と実行時間は指数関数的に増加するが、事後グラフ構築において10次元のシステムで10,000秒未塔（約2.7時間）で処理を完了している。
• オンライン監視、予測フィルタ、バリア関数、または後処理による形式的検証を一切必要とせず、形式的正しさを保証する制御則を達成している。
• 重み射影演算子により、ニューラルネットワークが形式的に安全な族に属するCPWA関数のみを表現するように効果的に制限されており、構築段階で安全を保証している。
• 抽象モデルに基づく候補関数の順位付けと訓練バイアスの導入により、射影による直接的な制御が不可能なライブネス特性に対しても、収束する制御則を達成できた。