[論文レビュー] Gray-box Adversarial Testing for Control Systems with Machine Learning Component

Shakiba Yaghoubi, Georgios Fainekos|arXiv (Cornell University)|Dec 31, 2018

Adversarial Robustness in Machine Learning参考文献 22被引用数 5

ひとこと要約

本稿では、勾配ベースの最適制御探索を用いて、再帰的ニューラルネットワーク（RNN）制御系を対象としたグレイボックス敵対的テストフレームワークを提案する。動作点におけるシステム線形化を活用することで、入力空間を効率的に探索し、システムレベルの信号時相論理（STL）仕様を偽造する敵対的入力を生成する。これは、均一なランダムサンプリングやシミュレーテッドアニーリングなどのブラックボックス手法と比較して、反例の発見において顕著に優れている。

ABSTRACT

Neural Networks (NN) have been proposed in the past as an effective means for both modeling and control of systems with very complex dynamics. However, despite the extensive research, NN-based controllers have not been adopted by the industry for safety critical systems. The primary reason is that systems with learning based controllers are notoriously hard to test and verify. Even harder is the analysis of such systems against system-level specifications. In this paper, we provide a gradient based method for searching the input space of a closed-loop control system in order to find adversarial samples against some system-level requirements. Our experimental results show that combined with randomized search, our method outperforms Simulated Annealing optimization.

研究の動機と目的

• 神経ネットワークを内蔵する複雑で非線形なダイナミクスを示す安全が求められる制御系のテストと検証の課題に対処すること。
• 信号時相論理（STL）で表現されたシステムレベルの仕様に違反する敵対的入力をスケーラブルかつ効率的に生成する手法を開発すること。
• RNNを搭載した複雑な制御系において、しばしば反例を発見できないブラックボックステスト手法の限界を克服すること。
• 勾配ベースの局所探索を用いて、逐次的かつ記憶依存的な挙動を示すRNN制御系—従来は解析が困難であった—の偽造を可能にすること。
• 局所勾配降下法とグローバル最適化戦略を統合することで、敵対的テスト生成における収束性と頑健性を向上させること。

提案手法

• 動作点における閉ループシステムの解析的線形化を用いて、感度行列や数値近似を必要とせずに勾配降下方向を計算する。
• 敵対的入力探索を最適制御問題として定式化し、STL仕様に対するシステムのロバストネスを最小化する勾配ベースの局所探索を適用する。
• 局所勾配降下法とグローバルサンプラー（例：均一なランダムサンプリングやシミュレーテッドアニーリング）を組み合わせることで、入力空間における探索と活用のバランスを取る。
• 滑らかな活性化関数を有するRNNを搭載したシステムに適用可能であり、ブロック単位の線形化を可能にするSimulinkモデルの構造を活用する。
• 完全なモデルやネットワークアーキテクチャの知識を必要とせず、標準的なモデルベース設計ツールから得られる線形化データに依存する。
• 従来の研究を拡張し、有限のパrameter集合でパrameter化するのではなく、入力関数の無限次元空間を直接探索する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースの局所探索は、RNN制御系を搭載した制御系の敵対的テスト生成の有効性を向上させ得るか？
• RQ2 局所勾配降下法とグローバル最適化戦略を統合することで、ブラックボックス手法と比較して偽造性能にどのような影響を与えるか？
• RQ3 提案手法は、複雑で非線形な制御系において、システムレベルのSTL仕様に違反する敵対的入力をどの程度検出できるか？
• RQ4 ネットワークの深さやシステム状態次元数の増加に対して、本手法は効果的にスケーリング可能か？
• RQ5 従来のブラックボックステスト手法が失敗するようなシステムに対しても、本フレームワークは成功裏に偽造を達成できるか？

主な発見

• 提案手法（UR+GDおよびSA+GD）は、スチームコンデンサーの事例研究において50回の実行すべてで敵対的例を発見したが、純粋な均一なランダムサンプリング（UR）およびシミュレーテッドアニーリング（SA）はいずれも反例を発見できなかった。
• 平均最小ロバストネス値は、UR+GDで-0.0018、SA+GDで-0.0016に低下し、STL仕様の違反が成功したことを示した。一方、URとSAはそれぞれ0.0843および0.0503に留まった。
• 平均実行時間は、UR+GDで15.78秒、SA+GDで13.07秒に短縮され、60秒の制限時間内に収まり、平均で90回未満のシミュレーションで実行された。
• 本手法はスケーラビリティを示し、RNNおよびシステムモデルの層数や状態数の増加に対しても性能を維持した。
• 局所勾配降下法とグローバルサンプリングの組み合わせは、単独のグローバル手法を顕著に上回り、複雑なシステムにおける反例の検出に不可欠であることが証明された。
• 最適入力を用いることで、定常入力時のシステムロバストネス0.20633を、0.00030222にまで低下させ、効果的な敵対的入力生成が実現された。