[論文レビュー] Verisig: verifying safety properties of hybrid systems with neural network controllers

Radoslav Ivanov, James Weimer+3 more|arXiv (Cornell University)|Nov 5, 2018

Adversarial Robustness in Machine Learning参考文献 26被引用数 37

ひとこと要約

Verisig は、シグモイドベースのニューラルネットワークコントローラを備えたハイブリッドシステムの安全特性を検証するための新しい手法を提案する。シグモイド関数が二次微分方程式の解であることに着目し、その性質を用いて DNN を等価なハイブリッドシステムに変換することで、プラントの動的特性と合成可能となり、Flow* などの到達可能性ツールを用いた検証が可能になる。これにより、ネットワークの深さに対して線形スケーラビリティが達成され、1層隠れ層を持つネットワークでは決定可能となる。より一般的な決定可能性は、シュワンデルの予想が成り立つ場合に条件付きで成立する。

ABSTRACT

This paper presents Verisig, a hybrid system approach to verifying safety properties of closed-loop systems using neural networks as controllers. Although techniques exist for verifying input/output properties of the neural network itself, these methods cannot be used to verify properties of the closed-loop system (since they work with piecewise-linear constraints that do not capture non-linear plant dynamics). To overcome this challenge, we focus on sigmoid-based networks and exploit the fact that the sigmoid is the solution to a quadratic differential equation, which allows us to transform the neural network into an equivalent hybrid system. By composing the network's hybrid system with the plant's, we transform the problem into a hybrid system verification problem which can be solved using state-of-the-art reachability tools. We show that reachability is decidable for networks with one hidden layer and decidable for general networks if Schanuel's conjecture is true. We evaluate the applicability and scalability of Verisig in two case studies, one from reinforcement learning and one in which the neural network is used to approximate a model predictive controller.

研究の動機と目的

• 従来の DNN 検証手法が非線形プラントの動的特性によって失敗する場合に、ニューラルネットワークがコントローラーとして機能する閉ループのサイバーフィジカルシステムにおける安全特性の検証という課題に対処すること。
• 既存の SMT/MILP に基づく DNN 検証ツールが、連続的かつ非線形なプラントの動的特性をモデル化できないという制限を克服すること。
• シグモイド関数の微分方程式の性質を用いて、等価なハイブリッドシステムに変換することで、ハイブリッドシステムにおける安全特性の形式的検証を可能にすること。
• 強化学習やモデル予測制御の近似を含む実世界の事例を対象に、提案手法のスケーラビリティと適用可能性を評価すること。
• シュワンデルの予想の下で、一般のフィードフォワード シグモイドネットワークに対する検証問題の理論的決定可能性を調査すること。

提案手法

• シグモイド活性化関数が特定の二次微分方程式の解であることに着目し、各ニューロンを連続時間動的システムとして表現可能であることを活用する。
• L 層、各層 N 個のニューロンを有する全結合フィードフォワード DNN を、L+1 個のモードと各層あたり 2N 個の状態を有するハイブリッドシステムに変換する。
• 得られた DNN ハイブリッドシステムと連続時間プラントの動的特性を合成し、全閉ループシステムを表す複合ハイブリッドシステムを構築する。
• dReach や Flow* などの最先端のハイブリッドシステム到達可能性ツールを用いて、到達可能な状態空間を計算し、安全特性を検証する。
• Flow* における区分的線形近似を用いて非線形動的特性を扱い、シグモイド関数あたり使用する線形セグメント数によって近似誤差が制限されることを活用する。
• 比較のためのベースラインとして、1つのシグモイド関数あたり 100 個の線形セグメントを用いて、同等の近似精度を確保する MILP に基づく検証を採用する。

実験結果

リサーチクエスチョン

• RQ1 非線形プラントの動的特性により従来の DNN 検証手法が失敗する状況下でも、シグモイドベースのニューラルネットワークコントローラを備えたハイブリッドシステムの安全特性を形式的に検証できるか？
• RQ2 シグモイド関数の微分方程式の性質を用いて、等価なハイブリッドシステムとしてシグモイドベースの DNN を表現できるか？
• RQ3 提案された変換により、既存の到達可能性ツールを用いた深層ネットワークのスケーラブルな検証が可能になるか？
• RQ4 一般のフィードフォワード シグモイドネットワークに対する検証問題が、どのような数学的仮定のもとで決定可能になるか？
• RQ5 Verisig のスケーラビリティは、深層ネットワークにおける既存の MILP に基づく DNN 検証アプローチと比較してどの程度か？

主な発見

• Verisig は、ネットワークの層数に対して線形スケーラビリティを達成する。各層（モード）ごとに同じ到達可能性計算が行われるため、深層ネットワークの検証が可能になる。
• MILP に基づくアプローチは、二値変数の組み合わせ的爆発に起因し、深さが増すにつれて実行時間の指数的増加を示し、より深いネットワークでは実行不可能になる。
• 浅いネットワーク（数層）では MILP に基づく手法が速いが、問題の構造に極めて敏感であり、8 層のネットワークより 9 層のネットワークの方が実行時間が速いという事例も示されている。
• Verisig+Flow* は、2 から 10 層の層数、16 から 128 個のニューロン/層の幅の広い範囲において、予測可能でスケーラブルな性能を示している。
• 1 つの隠れ層を持つ DNN については検証問題が決定可能であり、シュワンデルの予想が成り立つ限り、一般のネットワークに対しても決定可能である。
• Flow* で使用される粗い区分的線形近似は、実際の応用では顕著な誤差を生じさせないことが示されており、その単純さにもかかわらず、シグモイドの動的特性に適していると考えられる。