[論文レビュー] Data-Driven Stochastic Reachability Using Hilbert Space Embeddings.

Adam J. Thorpe, Kendric R. Ortiz+1 more|arXiv (Cornell University)|Oct 15, 2020

Adversarial Robustness in Machine Learning参考文献 52被引用数 4

ひとこと要約

本稿では、確率分布のヒルバート空間埋め込みを用いたデータ駆動型アプローチを提案し、任意の摂動を伴うシステムにおける安全保証のための有限標本確率的保証を可能にする。再生核ヒルバート空間（RKHS）に確率的カーネルを埋め込むことで、行列演算と内積を用いて安全確率を計算し、統計学習理論のツールを用いて理論的境界を導出する。この手法はニューラルネットワーク制御の振り子系で検証された。

ABSTRACT

We compute finite sample bounds for approximations of the solution to stochastic reachability problems computed using kernel distribution embeddings, a non-parametric machine learning technique. Our approach enables assurances of safety from observed data, through construction of probabilistic violation bounds on the computed stochastic reachability probability. By embedding the stochastic kernel of a Markov control process in a reproducing kernel Hilbert space, we can compute the safety probabilities for systems with arbitrary disturbances as simple matrix operations and inner products. We present finite sample bounds for the approximation using elements from statistical learning theory. We numerically evaluate the approach, and demonstrate its efficacy on neural net-controlled pendulum system.

研究の動機と目的

• パrametricな仮定を一切行わず、観測データのみを用いて確率的制御システムの安全確認を可能にすること。
• システムの摂動が任意かつ未知である場合に、信頼性のある到達可能性確率を計算する課題に対処すること。
• 経験的データから得られる到達可能性確率の近似誤差に対して、有限標本確率的バウンドを提供すること。
• カーネル法に基づく計算効率の良いフレームワークを構築し、複雑な確率的ダイナミクスを行列演算に変換すること。

提案手法

• カーネル分布埋め込みを用いて、マルコフ制御過程の確率的カーネルを再生核ヒルバート空間（RKHS）に埋め込む。
• システムの遷移確率をRKHSの要素として表現し、データからの非パラメトリック推定を可能にする。
• 到達可能性確率をRKHS内の内積として計算し、経験的データ上の行列演算に問題を還元する。
• 特にカバー数に基づく一般化バウンドを用いて、統計学習理論のツールを用いて近似誤差の有限標本バウンドを導出する。
• 性能と耐性を評価するために、ニューラルネットワーク制御の振り子系にこの手法を適用する。
• 計算された到達可能性確率の確率的違反バウンドを構築することで、理論的かつ安全な保証を確保する。

実験結果

リサーチクエスチョン

• RQ1 カーネルベースのヒルバート空間埋め込みは、有限標本バウンドを伴う信頼性の高い、データ駆動型の確率的到達可能性確率の近似を提供できるか？
• RQ2 非パラメトリックカーネル法と経験的データを用いる場合、到達可能性確率の近似誤差をどのようにバウンドできるか？
• RQ3 この手法は、確率的制御システムにおける任意の非パラメトリックな摂動をどの程度処理できるか？
• RQ4 ニューラルネットワーク制御の振り子のような高次元かつ非線形系において、この手法はスケーリングおよび性能をどのように果たすか？
• RQ5 システムのノイズや遷移ダイナミクスに特定のパラメトリック形式を仮定しないで、確率的安全保証を提供できるか？

主な発見

• 計算された到達可能性確率の誤差に対して、有限標本確率的バウンドを達成し、経験的データからの厳密な安全保証を可能にした。
• 行列演算とRKHS内での内積のみを用いて、到達可能性確率が効率的に計算可能であり、複雑な数値積分を回避できた。
• ノイズ分布のパラメトリック仮定を必要としないため、任意の摂動を伴うシステムに適用可能である。
• ニューラルネットワーク制御の振り子系における数値的評価は、非線形的かつ高次元の環境下でも本手法の有効性と実用的妥当性を示した。
• 統計学習理論のカバー数に基づくバウンドを用いて理論的保証を導出し、データが限られた場合でも信頼性を確保した。