[論文レビュー] Verification of Neural-Network Control Systems by Integrating Taylor Models and Zonotopes

Christian Schilling, Marcelo Forets+1 more|arXiv (Cornell University)|Dec 16, 2021

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本論文は、常微分方程式（ODE）のテイラー・モードルとニューラル・ネットワークのゾノトープを統合することで、ニューラル・ネットワーク制御システム（NNCS）のための新規な到達可能性アルゴリズムを提案する。構造的ゾノトープを用いて制御サイクル間の依存関係を保持し、段階的テイラー・モードル更新を実施することで、精度とスケーラビリティの面で最先端の性能を達成し、ARCH-COMP 2021 競争のすべてのベンチマーク問題を初めて正確に検証した。

ABSTRACT

We study the verification problem for closed-loop dynamical systems with neural-network controllers (NNCS). This problem is commonly reduced to computing the set of reachable states. When considering dynamical systems and neural networks in isolation, there exist precise approaches for that task based on set representations respectively called Taylor models and zonotopes. However, the combination of these approaches to NNCS is non-trivial because, when converting between the set representations, dependency information gets lost in each control cycle and the accumulated approximation error quickly renders the result useless. We present an algorithm to chain approaches based on Taylor models and zonotopes, yielding a precise reachability algorithm for NNCS. Because the algorithm only acts at the interface of the isolated approaches, it is applicable to general dynamical systems and neural networks and can benefit from future advances in these areas. Our implementation delivers state-of-the-art performance and is the first to successfully analyze all benchmark problems of an annual reachability competition for NNCS.

研究の動機と目的

• ODEとニューラル・ネットワーク解析ツール間のインターフェース変換に伴う依存関係の喪失が引き起こす到達可能性解析の過剰保守性の課題に対処する。
• ODEで使用されるテイラー・モードルとニューラル・ネットワークで使用されるゾノトープの間で、制御サイクルに跨る構造的依存関係を保持する整合的な変換メカニズムを開発する。
• 既存のブラックボックス型到達可能性ツール（ODEおよびニューラル・ネットワーク用）と連携可能なモジュラーかつインターフェースレベルのアルゴリズムを設計し、内部実装にアクセスする必要がないようにする。
• 特に複数出力次元を持つ問題で従来のツールが失敗または発散するケースが多いため、NNCSのベンチマークを正確かつスケーラブルに検証できるようにする。
• 複雑なダイナミクスとReLU活性化関数を有するニューラル・ネットワークを有する実世界の制御システムベンチマークにおいて、本手法の有効性を実証する。

提案手法

• 構造的ゾノトープ（remainder項に構造を埋め込んだゾノトープ）を導入し、残差項に構造を符号化することで、テイラー・モードルへの正確な変換を可能にする。
• 制御入力項のみを更新することで、制御サイクルに跨るテイラー・モードルの依存関係情報を保持する。
• 二段階インターフェースを採用：ゾノトープベースのニューラル・ネットワーク解析器の出力を構造的ゾノトープに変換し、次にそれをテイラー・モードルに変換してODE統合に用いる。
• ODE到達可能性ツール（テイラー・モードルに基づく）を用いて状態を前方に伝搬させ、その後、得られたテイラー・モードルを再び構造的ゾノトープに変換して次のニューラル・ネットワークステップに供給する。
• 初期集合の分割を精緻化戦略として活用し、コア変換メカニズムを変更せずに精度を向上させる。
• 各変換ステップで過近似を維持することで整合性を保証し、依存関係を保持する変換により、包み込み効果（wrapping effect）を回避する。

実験結果

リサーチクエスチョン

• RQ1 ゾノトープとテイラー・モードル表現間の変換時に失われる依存関係情報が、ニューラル・ネットワーク制御システムにおいて効果的に保持可能か？
• RQ2 構造的ゾノトープと段階的更新を用いたテイラー・モードルとゾノトープの統合により、従来のブラックボックス連鎖手法に比べ、より精度が高くスケーラブルな到達可能性解析が達成可能か？
• RQ3 提案手法は、従来のツールが失敗する複数出力ニューラル・ネットワークを有するARCH-COMP 2021 競争のすべてのベンチマーク問題を検証可能か？
• RQ4 高次元または複雑な制御システムにおいて、本手法の精度と性能はSherlockやNNVと比べてどの程度優れているか？
• RQ5 初期集合の分割は、整合性とスケーラビリティを維持したまま、どの程度本手法に利益をもたらすか？

主な発見

• 提案手法は、ARCH-COMP 2021 競争のすべてのベンチマーク問題を正確に検証した。特に、Sherlockが発散したため解析に失敗したダブル・ペンダラムや航空機モデルも含む。
• アダプティブ・クルーズ・コントロールおよびTORA問題において、入力集合の分割を必要としない状況でも、Sherlockと同等またはより高い精度を達成し、特に高速であった。
• シングル・ペンダラム問題では、Sherlockよりもより精密な過近似を生成し、優れた依存関係保持能力を示した。
• 複数出力制御出力を有するシステムに対しても、本手法は安定かつ収束性を示した。一方、Sherlockは数サイクルで発散するため、高次元出力への耐性が優れていることが示された。
• 初期集合の分割により精度が向上したが、多くのベンチマークでは分割なしでも十分な精度を達成しており、本手法の内蔵的精度の高さが裏付けられた。
• 本手法は、制御サイクルに跨る依存関係を保持する形でテイラー・モードルとゾノトープを統合する初めてのアプローチであり、NNCSの整合的かつスケーラブルな到達可能性解析を可能にした。