[論文レビュー] Reachability Analysis of Neural Network Control Systems

Chi Zhang, Wenjie Ruan+1 more|arXiv (Cornell University)|Jan 28, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、リプシッツ最適化に基づく、ニューラルネットワーク制御システム（NNCS）のための新しい検証フレームワークであるDeepNNCを提案する。ループのアンローリングと除去を通じて閉ループNNCSのリプシッツ連続性を証明することで、DeepNNCは到達可能集合の分析をブラックボックス最適化問題として扱い、従来の手法よりもタイトで効率的な到達可能集合推定を実現する。これは、多様な活性化関数と長い時間スパンにおいても有効である。

ABSTRACT

Neural network controllers (NNCs) have shown great promise in autonomous and cyber-physical systems. Despite the various verification approaches for neural networks, the safety analysis of NNCs remains an open problem. Existing verification approaches for neural network control systems (NNCSs) either can only work on a limited type of activation functions, or result in non-trivial over-approximation errors with time evolving. This paper proposes a verification framework for NNCS based on Lipschitzian optimisation, called DeepNNC. We first prove the Lipschitz continuity of closed-loop NNCSs by unrolling and eliminating the loops. We then reveal the working principles of applying Lipschitzian optimisation on NNCS verification and illustrate it by verifying an adaptive cruise control model. Compared to state-of-the-art verification approaches, DeepNNC shows superior performance in terms of efficiency and accuracy over a wide range of NNCs. We also provide a case study to demonstrate the capability of DeepNNC to handle a real-world, practical, and complex system. Our tool extbf{DeepNNC} is available at \url{https://github.com/TrustAI/DeepNNC}.

研究の動機と目的

• 幅広い活性化関数を扱い、過剰近似誤差を回避する、スケーラブルで正確なニューラルネットワーク制御システム（NNCS）の検証手法の不足に対処すること。
• NNCSの内部構造へのアクセスを必要としない、モデルに依存しない検証フレームワークの開発。
• 長時間スパンにわたるタイトで効率的な到達可能集合推定を実現し、ワラッピング効果と誤差の蓄積を最小限に抑えること。
• ベンチマークモデルと、飛行機の制御システムなど実世界の複雑なシステムを含む、実用的応用における有効性の実証。

提案手法

• 制御システム内のフィードバックループをアンローリングおよび除去することで、閉ループNNCSのリプシッツ連続性を証明する。
• リプシッツ最適化技術を用いて、到達可能集合問題をブラックボックス最適化タスクとして定式化する。
• 計算効率の向上と過剰近似の低減を図るため、動的局所リプシッツ最適化を適用する。
• ε（許容誤差）およびk_max（最大反復回数）のパラメータを用いた反復的境界の精密化により、到達可能集合推定をタイトにする。
• アプローチのモデルに依存しない性質を活かし、任意のリプシッツ連続制御則およびプラントダイナミクスをサポートする。
• 到達可能集合推定における真値の代理として、網羅的なグリッドベース近似を用いて手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 検証フレームワークは、ReLU、シグモイド、tanhを含む多様な活性化関数において、タイトで効率的な到達可能集合推定を実現できるか？
• RQ2 提案されたリプシッツ最適化アプローチは、時間経過に伴う精度と誤差蓄積の観点で、既存のテイラー・モデルベース手法と比較してどのように差をつけるか？
• RQ3 本手法は、高次元状態空間を持つ飛行機のような複雑な実世界制御システムをどの程度効果的に処理できるか？
• RQ4 εおよびk_maxのパラメータが、到達可能集合推定の精度と収束性にどのように影響するか？
• RQ5 本フレームワークは、NNCSの内部アーキテクチャへのアクセスを必要とせず、モデルに依存しない応用が可能か？

主な発見

• DeepNNCは、Verisig 2.0、ReachNN*、Sherlockといった最先端手法よりもタイトな到達可能集合推定を達成しており、複数のベンチマークで一貫して小さい領域サイズを示している。
• DeepNNCが推定する到達可能集合の領域は、網羅的グリッドベース近似（真値の代理）よりもわずかに大きいが、すべてのベースライン手法よりも顕著に小さいため、高い精度を示している。
• ε = 0.0005およびk_max = 10^4の設定で、DeepNNCは最もタイトな推定を達成しており、k_maxをさらに増加させたりεを小さくしたりすることで、さらに精度が向上する。
• DeepNNCは飛行機のケーススタディにおいて、システムのyおよびα状態が安全範囲を超えることを正しく特定しており、本手法の実用的有用性を裏付けている。
• 本手法は、テイラー・モデルベース手法で見られる指数的誤差蓄積を回避し、長時間スパンにおいて優れた効率性と正確性を示している。
• 比較において、DeepNNCは唯一のモデルに依存しないNNCS検証フレームワークであり、内部モデルへのアクセスを一切必要としないにもかかわらず、高い性能を維持している。