[論文レビュー] Reachable Set Estimation for Neural Network Control Systems: A Simulation-Guided Approach

Weiming Xiang, Hoang-Dung Tran+2 more|arXiv (Cornell University)|Apr 26, 2020

Adversarial Robustness in Machine Learning参考文献 36被引用数 4

ひとこと要約

本稿では、一般の活性化関数を備えたフィードフォワードニューラルネットワークの到達可能集合を過剰近似するための、シミュレーション誘導型で区間演算に基づく手法を提案する。この手法により、閉ループニューラルネットワーク制御システムの安全な検証が効率的に行える。シミュレーション誘導型の出力集合推定とODE到達可能性解析を統合することで、従来手法と比較して計算コストを97%削減し、ロボットアームおよびアダプティブクルーズコントロールシステムにおいて安全な検証に成功した。

ABSTRACT

The vulnerability of artificial intelligence (AI) and machine learning (ML) against adversarial disturbances and attacks significantly restricts their applicability in safety-critical systems including cyber-physical systems (CPS) equipped with neural network components at various stages of sensing and control. This paper addresses the reachable set estimation and safety verification problems for dynamical systems embedded with neural network components serving as feedback controllers. The closed-loop system can be abstracted in the form of a continuous-time sampled-data system under the control of a neural network controller. First, a novel reachable set computation method in adaptation to simulations generated out of neural networks is developed. The reachability analysis of a class of feedforward neural networks called multilayer perceptrons (MLP) with general activation functions is performed in the framework of interval arithmetic. Then, in combination with reachability methods developed for various dynamical system classes modeled by ordinary differential equations, a recursive algorithm is developed for over-approximating the reachable set of the closed-loop system. The safety verification for neural network control systems can be performed by examining the emptiness of the intersection between the over-approximation of reachable sets and unsafe sets. The effectiveness of the proposed approach has been validated with evaluations on a robotic arm model and an adaptive cruise control system.

研究の動機と目的

• 敵対的ロバストネスとブラックボックス性のため、ニューラルネットワーク制御システムにおける安全検証の課題に対処すること。
• 一般の活性化関数を有する多層パーセプトロン（MLP）の出力到達可能集合の効率的で整合的な過剰近似を開発すること。
• ニューラルネットワークの到達可能性解析と連続時間動的システム解析を統合し、閉ループの安全検証を実現すること。
• 到達可能集合推定における計算コストを削減しつつ、整合性と正確性を維持すること。
• 実世界の制御システム、例えばロボットアームやアダプティブクルーズコントロールにおいて、手法を検証すること。

提案手法

• シミュレーション誘導型の手法を考案し、区間演算と感度解析を用いて、フィードフォワードニューラルネットワークの出力到達可能集合を過剰近似する。
• 出力集合推定を、最大感度に基づく4つの凸最適化問題として定式化し、シミュレーションによる誘導により不要な計算を回避する。
• 連続時間動的システムに対しては、CORAを用いてサンプリング間隔におけるODE到達可能性解析を実行する。
• ニューラルネットワークの出力過剰近似とODE到達可能性解析を再帰的アルゴリズムで統合し、閉ループシステムの到達可能集合を計算する。
• 過剰近似された到達可能集合と不安全領域の交差が空集合であるかを確認することで、安全検証を実施する。
• シミュレーション誘導と区間ベースのニューラルネットワーク解析を統合した、サンプリングデータニューラルネットワーク制御システムモデルに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 一般の活性化関数を有するフィードフォワードニューラルネットワークの出力到達可能集合を、シミュレーション誘導型の手法で効率的に過剰近似できるか？
• RQ2 整合性を保ちつつ、ニューラルネットワークの到達可能集合推定における計算コストをどのように低減できるか？
• RQ3 提案手法は、閉ループニューラルネットワーク制御システムにおける有効な安全検証を可能にするか？
• RQ4 効率性と正確性の観点から、従来のシミュレーションベース手法と比較して、本手法はどの程度優れているか？
• RQ5 本手法は、ロボットアームやアダプティブクルーズコントロールのような実世界の制御システムにおいて、スケーラビリティと安全検証の両面でどの程度の性能を発揮するか？

主な発見

• 提案手法は、ロボットアームの例において、同じ区間到達可能性結果を得るにあたり、従来のシミュレーションベース手法[10]と比較して計算コストをわずか3%にまで削減した。
• 本手法は、相対的距離が5秒間の時間枠内で安全閾値を下回らないことを示し、アダプティブクルーズコントロールシステムの安全検証に成功した。
• ACCシステムにおけるリード車とエゴ車両の両方の到達可能集合推定結果を可視化し、不安全領域と交差しないことを確認した。
• 区間演算とシミュレーション誘導を組み合わせることで、閉ループシステムの到達可能集合を過剰近似し、整合的な安全検証を実現した。
• 本手法は汎用的であり、さまざまな活性化関数に適用可能であり、ReLUネットワークや他のアーキテクチャへの拡張も可能である。
• 実装はhttps://github.com/xiangweiming/ignnvにて公開されており、再現性とさらなる研究を支援する。