[論文レビュー] ReachNN: Reachability Analysis of Neural-Network Controlled Systems

Chao Huang, Jiameng Fan+3 more|arXiv (Cornell University)|Jun 25, 2019

Adversarial Robustness in Machine Learning参考文献 36被引用数 27

ひとこと要約

ReachNNは、一般化された活性化関数を扱えるようにする Bernstein多項式近似を用いた、ニューラルネットワーク制御系の到達可能性解析フレームワークを提案する。Lipschitz連続性と誤差境界推定を活用し、Flow*を用いた到達集合の過剰近似を、特に異種ネットワークおよび高Lipschitz定数の制御系において、従来手法よりも精度を向上させる再訓練を組み合わせることで実現する。

ABSTRACT

Applying neural networks as controllers in dynamical systems has shown great promises. However, it is critical yet challenging to verify the safety of such control systems with neural-network controllers in the loop. Previous methods for verifying neural network controlled systems are limited to a few specific activation functions. In this work, we propose a new reachability analysis approach based on Bernstein polynomials that can verify neural-network controlled systems with a more general form of activation functions, i.e., as long as they ensure that the neural networks are Lipschitz continuous. Specifically, we consider abstracting feedforward neural networks with Bernstein polynomials for a small subset of inputs. To quantify the error introduced by abstraction, we provide both theoretical error bound estimation based on the theory of Bernstein polynomials and more practical sampling based error bound estimation, following a tight Lipschitz constant estimation approach based on forward reachability analysis. Compared with previous methods, our approach addresses a much broader set of neural networks, including heterogeneous neural networks that contain multiple types of activation functions. Experiment results on a variety of benchmarks show the effectiveness of our approach.

研究の動機と目的

• 従来の到達可能性手法が、非線形性が強い制御系マッピングのため失敗する、ニューラルネットワーク制御系（NNCS）における安全性の検証の課題に対処すること。
• 既存の検証手法を ReLU のみに限ったネットワークから、一般化された活性化関数をサポートするよう拡張すること。ただし、ネットワークが Lipschitz連続であることが前提である。
• 到達可能性解析に使用可能な、ニューラルネットワーク制御系の入出力挙動の高次元セット抽象化を、実行可能かつ高次の形式で開発すること。
• 理論的およびサンプリングベースの推定を組み合わせ、Lipschitz定数解析を基盤として、多項式近似の誤差境界を厳密に推定すること。
• 再訓練による Lipschitz定数の低減により、フローパイプ計算における過剰近似の品質を向上させ、特に高Lipschitz定数の制御系において精度を向上させること。

提案手法

• 入力領域が有界な範囲において、ユーザーが指定する次数の上限を用いて、ニューラルネットワーク制御系の入出力マッピングを Bernstein 多項式で近似する。
• 近似誤差を2つの手法で推定する： Bernstein 多項式理論に基づく事前理論的境界と、事後的なサンプリングベースの境界。
• 前向き到達可能性解析を活用し、ニューラルネットワークのタイトな Lipschitz定数推定値を得る。この推定値は、誤差評価および再訓練戦略の根拠となる。
• 損失関数に Lipschitz正則化項を組み込んだ再訓練手順を適用し、ネットワークの Lipschitz定数を低減させ、近似品質を向上させる。
• 多項式近似を Flow* ツールに統合し、全 NNCS の過剰近似フローパイプを計算する。これにより、反復的到達可能性解析が可能になる。
• 得られた多項式モデルを、定義域内に存在するすべての入力に対して制御系出力を過剰近似する高次元セット抽象化として使用する。

実験結果

リサーチクエスチョン

• RQ1 一般化された活性化関数を有するニューラルネットワーク制御系の入出力挙動を、Bernstein 多項式近似で効果的に抽象化できるか？
• RQ2 特に Lipschitz連続なネットワークに対して、多項式近似の誤差境界をどのように厳密に推定できるか？
• RQ3 ニューラルネットワークの Lipschitz定数を低減させることで、多項式近似による到達可能性解析の精度がどの程度向上するか？
• RQ4 本手法は、ReLU に限定されない複数の活性化関数を含む異種ニューラルネットワークに対しても対応可能か？
• RQ5 ベンチマーク比較において、本手法の過剰近似品質と計算実行可能性は、従来手法と比較してどの程度優れているか？

主な発見

• ReachNNは、一般化された活性化関数（異種ネットワークを含む）を有するニューラルネットワーク制御系の到達可能性解析を成功裏に実現した。
• 再訓練による Lipschitz定数低減と組み合わせることで、従来手法よりもタイトな到達集合の過剰近似を達成した。
• カート上の倒立振子の実験では、Lipschitz定数を 14.7 から低減させた再訓練済みネットワークにより、Bernstein 多項式が制御系挙動をより正確に追跡でき、過剰近似品質が向上した。
• サンプリングベースの誤差境界推定は、特に高次元入力空間において、理論的境界の実用的で効果的な代替手段を提供した。
• 理論的には普遍的であるが、次元数の増加に伴い多項式次数が指数関数的に増加するため、高次元入力空間ではスケーラビリティの課題に直面した。
• Lipschitz正則化を用いた再訓練戦略は、性能を維持しつつ Lipschitz定数を低減させた。これにより、より高い検証精度への道筋が示された。