[論文レビュー] Learning Approximate Forward Reachable Sets Using Separating Kernels

Adam J. Thorpe, Kendric R. Ortiz+1 more|arXiv (Cornell University)|Nov 19, 2020

Adversarial Robustness in Machine Learning参考文献 23被引用数 5

ひとこと要約

本論文は、再帰的核ヒルベルト空間（RKHS）における分離カーネルを用いて、確率的非線形システムの近似前方到達可能集合をデータ駆動で学習する手法を提案する。到達可能性をサポート推定問題として定式化し、正則化最小二乗分類器を解くことで、有限標本バウンドを伴う確実収束を達成し、ニューラルネットワーク制御器と任意の摂動を有するシステムの効率的でモデルフリーの検証を可能にする。宇宙船のドッキング問題とクアッドローターのベンチマークで実証され、計算コストが低く抑えられている。

ABSTRACT

We present a data-driven method for computing approximate forward reachable sets using separating kernels in a reproducing kernel Hilbert space. We frame the problem as a support estimation problem, and learn a classifier of the support as an element in a reproducing kernel Hilbert space using a data-driven approach. Kernel methods provide a computationally efficient representation for the classifier that is the solution to a regularized least squares problem. The solution converges almost surely as the sample size increases, and admits known finite sample bounds. This approach is applicable to stochastic systems with arbitrary disturbances and neural network verification problems by treating the network as a dynamical system, or by considering neural network controllers as part of a closed-loop system. We present our technique on several examples, including a spacecraft rendezvous and docking problem, and two nonlinear system benchmarks with neural network controllers.

研究の動機と目的

• 従来のモデルベースの到達可能性ツールが複雑さやシステムモデルの欠如のため失敗する、確率的非線形システムにおける前方到達可能集合のスケーラブルでモデルフリーな近似手法の開発。
• 凸性や既知のネットワーク構造といった制限的仮定を必要とする、既存のデータ駆動手法が収束保証を欠くという問題の克服。
• ニューラルネットワークを動的システムとして扱い、カーネルベースの学習による近似到達可能集合の計算を通じて、ニューラルネットワークの検証を可能にする。
• 高次元または複雑なシステムでは実行不可能になる過剰近似型区間法の代替として、計算効率の高い代替手段の提供。
• 実験的に導出された手法であるが、理論的収束と有限標本バウンドを保証し、実世界のベンチマーク（任意の確率的摂動を伴う）において実用的性能を維持すること。

提案手法

• 前方到達可能集合の計算を再帰的ヒルベルト空間（RKHS）におけるサポート推定問題として定式化する。
• 正則化最小二乗最適化を用いて、到達可能集合内と外の状態を区別する分離カーネルを用いて分類器を学習する。
• 分類器はRKHS内の関数として表現され、データサイズに応じて良好にスケーリングされる計算効率の高い解法を可能にする。
• カーネル法の理論的収束性を活用し、標本サイズの増加に伴い分類器が確実に収束することを保証する。
• 近似誤差を定量化するための有限標本バウンドを導出することで、学習された到達可能集合に対する確率的信頼性を提供する。
• システムの任意の確率的摂動を扱うために、軌道をシミュレートし、得られたデータ上でカーネル分類器を訓練する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型でカーネルベースの手法は、任意の摂動を伴う確率的非線形システムの前方到達可能集合を収束性と計算効率の両面で効果的に近似可能か？
• RQ2 システムモデルが不明または従来の到達可能性解析に不適切なほど複雑な場合、RKHSにおける分離カーネルは到達可能集合の境界をどれほど正確に近似できるか？
• RQ3 特に標準的な過剰近似技術が失敗する状況において、学習可能コンponents（例：ニューラルネットワーク制御器）を有するシステムを効果的に処理できるか？
• RQ4 宇宙船のドッキングやクアッドローターの動力学といった高次元非線形システムにおいて、この手法の計算効率と精度はどの程度か？
• RQ5 有限標本バウンドと確実収束を提供するため、実験的に導出された手法でも理論的保証が得られるか？

主な発見

• 宇宙船のドッキング問題において、確率的摂動を伴う200ステップの前方到達可能集合の近似計算に52.907秒を要した。
• ニューラルネットワーク制御器を搭載した12自由度のクアッドローター系では、50の軌道を用いて50ステップの前方到達可能集合を12.830秒で計算した。
• アフィン確率的摂動（ベータ分布およびガウスノイズ）の組み込みにより、クロスセクション可視化でより大きく現実的であるとされる到達可能集合の近似が得られた。
• 学習された分類器は到達可能集合のサポートを的確に捉えており、近似到達可能集合がシミュレートされた軌道の周囲に集中していることから、高い忠実度が示された。
• 局所的発散を示す複雑な動的特性に対してもロバストであることが示され、区間ベースの手法が失敗する状況でも有効であった。
• 実際の実装でも理論的収束が観察され、分類器は確実に収束し、有限標本バウンドが近似品質に対する信頼性を提供した。