[論文レビュー] Learning Safe Neural Network Controllers with Barrier Certificates

Hengjun Zhao, Xia Zeng+3 more|arXiv (Cornell University)|Sep 18, 2020

Adversarial Robustness in Machine Learning参考文献 44被引用数 4

ひとこと要約

本論文は、形式的で安全保証を伴う非線形連続力学系のためのデータ駆動型フレームワークを提案する。独自の損失関数を用いてコントローラーNNとバリアNNを同時に学習させることで、バリア証明書の認証を通じて安全を保証する検証イン・ザ・ループ合成を実現し、ベンチマーク制御系における実行可能性と有効性を実験で確認した。

ABSTRACT

We provide a novel approach to synthesize controllers for nonlinear continuous dynamical systems with control against safety properties. The controllers are based on neural networks (NNs). To certify the safety property we utilize barrier functions, which are represented by NNs as well. We train the controller-NN and barrier-NN simultaneously, achieving a verification-in-the-loop synthesis. We provide a prototype tool nncontroller with a number of case studies. The experiment results confirm the feasibility and efficacy of our approach.

研究の動機と目的

• 非線形連続力学系に対して、制御理論の深い専門知識を要しない安全で正しい構築型コントローラーを設計する課題に対処すること。
• 統合された検証を介して安全特性を内蔵するニューラルネットワークコントローラーのデータ駆動型合成を可能にすること。
• ニューラルネットワークを用いてコントローラーとバリア関数の表現を同時に最適化し、形式的で安全な認証を保証すること。
• 手作業によるバリア関数の構築に依存することを減らし、データからエンド・トゥ・エンドでそれらを学習すること。
• スケーラブルな合成と検証を可能にするプロトタイプツール、nncontrollerの開発。

提案手法

• ドメイン固有の損失関数を用いた共同最適化フレームワークにより、コントローラーNNとバリアNNを同時に学習する。
• バリア関数をニューラルネットワークとして表現することで、汎用近似能力を活用し、区間SMTソルバーによる形式的検証を可能にする。
• 安全制約、安定性の目的、制限された制御入力（例：Hardtanh活性化関数を用いて）を符号化するカスタム損失関数を設計する。
• 安全領域および危険領域を含む、システムの軌道および状態空間領域のサンプリングにより、学習データセットを生成する。
• 区間算術とSMTベースの推論を用いて、学習済みバリアNNの正式な検証を統合し、それが証明書としての役割を果たしているかを検証する。
• 学習収束性と頑健性を向上させるために、自己適応的学習率スケジューリングとリスタートメカニズムを適用する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動的にニューラルネットワークコントローラーを合成しつつ、形式的検証を通じて安全を保証することは可能か？
• RQ2 バリア関数をニューラルネットワークとして学習させることで、コントローラーの安全性の証明書としての役割を果たすことは可能か？
• RQ3 安全および安定性の目的を満たすために、コントローラーとバリアネットワークの効果的共同学習を可能にする損失関数の設計はどのようなものか？
• RQ4 従来の検証後学習アプローチに比べて、コントローラーとバリアNNの共同合成は安全性および効率性において優れているか？
• RQ5 複雑な安全制約を有する非線形力学系において、このアプローチのスケーラビリティはどの程度か？

主な発見

• 提案されたフレームワークは、自転車モデルや二重積分器系を含む複数の事例において、安全特性を満たすニューラルネットワークコントローラーを効果的に合成した。
• 検証イン・ザ・ループ合成を達成し、区間SMTソルバーを用いてバリアNNが有効な証明書として正式に検証された。
• 5回の実行における平均学習時間は1ケースあたり26.35～891.24秒、検証コストは4.71～1344.50秒であり、中程度の計算オーバーヘッドであることが示された。
• 安定性に配慮した損失関数と制限付き活性化関数（Hardtanh）の使用により、コントローラーの性能と収束性が向上し、学習済み方策の不安定性が低減した。
• ランダム初期化に対しても頑健であり、リスタート機構により複数の事例で失敗した学習実行を正常に回復できた。
• プロトタイプツールnncontrollerは、最大6つの状態変数を有するシステムを正常に処理し、すべてのテスト事例でバリア証明書の形式的検証に成功した。