[論文レビュー] Learning Density Distribution of Reachable States for Autonomous Systems

Yue Meng, Dawei Sun+3 more|arXiv (Cornell University)|Sep 14, 2021

Machine Learning and Algorithms参考文献 78被引用数 4

ひとこと要約

本稿では、リウヴィルPDEに従って、非線形かつブラックボックスな自律システムの到達可能状態の確率密度分布を学習するデータ駆動型で半教師ありの手法を提案する。ニューラルネットワークを同時に訓練して状態到達可能性と密度の時間発展をモデル化することで、保守的な推定を軽減し、サンプリングベースの手法と比較してKLダイバージェンスで最大99.89％の誤差低減を達成する。オンラインで安全な動作を確率論的境界で検証可能である。

ABSTRACT

State density distribution, in contrast to worst-case reachability, can be leveraged for safety-related problems to better quantify the likelihood of the risk for potentially hazardous situations. In this work, we propose a data-driven method to compute the density distribution of reachable states for nonlinear and even black-box systems. Our semi-supervised approach learns system dynamics and the state density jointly from trajectory data, guided by the fact that the state density evolution follows the Liouville partial differential equation. With the help of neural network reachability tools, our approach can estimate the set of all possible future states as well as their density. Moreover, we could perform online safety verification with probability ranges for unsafe behaviors to occur. We use an extensive set of experiments to show that our learned solution can produce a much more accurate estimate on density distribution, and can quantify risks less conservatively and flexibly comparing with worst-case analysis.

研究の動機と目的

• 最悪ケースの到達可能集合分析の限界を是正する。これは到達可能集合を過大評価し、状態の集中度を捉えられない。
• 非線形およびブラックボックスなシステムの到達可能状態の確率密度を計算するデータ駆動型手法を開発する。
• 二値の安全判定ではなく、確率論的リスク評価を用いたオンライン安全検証を可能にする。
• 学習中に真値の密度データを必要とせず、密度の時間発展を学習する。
• カーネル密度推定やガウス過程などのサンプリングベースの手法と比較して、精度を向上させ、保守的でない評価を実現する。

提案手法

• 状態密度の時間発展における物理的整合性を保つためにリウヴィル偏微分方程式（PDE）を活用し、これを物理則に基づくニューラルネットワークの制約として扱う。
• 軌道データから初期状態x₀と時刻tにおける到達可能状態写像Φ(x₀,t)と対応する状態密度ρ(x,t)を同時に予測する1つのニューラルネットワークを訓練する。
• 任意の初期分布からの密度変化の乗法的変化を捉える密度集中関数を学習し、異なる初期条件への一般化を可能にする。
• リーマン・ニューラルネットワーク（ReLU-NN）を用いた到達可能多面体マーチング（RPM）を用い、学習済みニューラルネットワークを多面体領域上の線形写像に分解する。
• 分解された多面体領域に対して、前方および後方の到達可能解析を実行し、各出力領域の確率的境界[ρ_min, ρ_max]を計算する。
• 得られた密度境界を用いて、さまざまな初期分布下での不安全行動発生確率を計算し、動的で安全な評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型手法は、非線形かつブラックボックスなシステムの到達可能状態の確率密度分布を正確に推定できるか？
• RQ2 密度分布を学習することで、最悪ケースの到達可能集合分析と比較して、どの程度保守的でなくなるか？
• RQ3 本手法は、不安全行動発生確率に信頼区間を提供する確率論的安全検証を可能にするか？
• RQ4 真値の密度ラベルが与えられない状況下でも、異なる初期状態分布に一般化して、学習された密度モデルはどの程度うまく機能するか？
• RQ5 高次元システムにおいて、本手法は状態の集中度を的確に捉え、過大評価を回避できるか？

主な発見

• 真値の密度データを学習時に使用しない状況下でも、カーネル密度推定やガウス過程と比較して、KLダイバージェンスが最大99.89％低減された。
• ダブルインテグレータベンチマークにおいて、本手法は最悪ケース手法と比較して、はるかに体積の小さい到達可能集合を生成し、Verisig（32.24倍の増加）やReachNN（67.96倍の増加）で見られる深刻な過大評価を回避した。
• グランドロボットナビゲーションやFACTEST車両追跡といった高次元システムにおいて、到達可能集合解析をタイムアウト制限内に完了できたのは、本手法とSherlockの2つに限られ、本手法はよりコンactな到達可能集合を得た。
• 複数のシステムにおいて、到達可能状態の90％以上が凸包体積の10％未満に集中しており、最悪ケースの到達可能集合分析の保守的性質が顕著に示された。
• 異なる初期分布は、安全確率に顕著な違いをもたらし、本手法がリスク認識型のシステム設計を支援できることを示した。
• 本手法は、二値の安全判定を超えた、実行可能なリスク評価を提供するオンライン安全検証を成功裏に実現した。