[論文レビュー] A Scenario Approach to Risk-Aware Safety-Critical System Verification

Prithvi Akella, Mohamadreza Ahmadi+1 more|arXiv (Cornell University)|Mar 4, 2022

Formal Methods in Verification被引用数 9

ひとこと要約

本稿では、未知の分布に対するValue-at-Risk (VaR)推定問題に制御則の検証を再定式化することにより、安全で重要なシステムのリスクに配慮した検証のシナリオベースのアプローチを提案する。サンプル効率の良い手法を用いて、システムの次元に依存せず、高い信頼性で不安全な初期状態およびパラメータの体積を制限し、マルチロボットシステムのシミュレーションにおいてその強健性を示している。

ABSTRACT

With the growing interest in deploying robots in unstructured and uncertain environments, there has been increasing interest in factoring risk into safety-critical control development. Similarly, the authors believe risk should also be accounted in the verification of these controllers. In pursuit of sample-efficient methods for uncertain black-box verification then, we first detail a method to estimate the Value-at-Risk of arbitrary scalar random variables without requiring extit{apriori} knowledge of its distribution. Then, we reformulate the uncertain verification problem as a Value-at-Risk estimation problem making use of our prior results. In doing so, we provide fundamental sampling requirements to bound with high confidence the volume of states and parameters for a black-box system that could potentially yield unsafe phenomena. We also show that this procedure works independent of system complexity through simulated examples of the Robotarium.

研究の動機と目的

• 不確実で構造のない環境で動作する安全で重要なシステムのための、サンプル効率的でリスクに配慮した検証手法を開発すること。
• 分布の事前知識なしに、任意のスカラー確率変数のValue-at-Risk (VaR)を推定すること。
• 安全性検証をVaR推定問題に再定式化し、不安全なシステム軌道の確率質量を制限すること。
• システムの複雑さや次元に依存しない基本的なサンプル要件を提供すること。
• Robotarium環境におけるマルチロボットシステムのシミュレーションを通じて、手法の妥当性を検証すること。

提案手法

• i.i.d. サンプルのみを用いて、分布が未知のスカラー確率変数のValue-at-Risk (VaR)を推定するためのシナリオアプローチが用いられる。
• サンプルされた軌道上でシナリオ最適化問題を解くことにより、高い信頼性でVaRの上界を構築する。
• 検証問題は、初期状態およびパラメータのシステム軌道から導かれるレジリエンス指標のVaR推定問題に再定式化される。
• 確率的保証を高い信頼性（γ = 1−10⁻⁶）で得るために、[15]のシナリオアプローチが活用される。
• 集中不等式を用いてサンプル複雑性が導出され、N ≥ 496のサンプル数が、ε = 0.0275で不安全なレジリエンス値の確率質量を境界付けるのに十分であることが保証される。
• 本手法は、初期状態およびコントローラーパラメータのレジリエンスを評価するマルチロボットシステムに適用されている。

実験結果

リサーチクエスチョン

• RQ1 分布の事前知識なしに、任意のスカラー確率変数のValue-at-Riskを推定できるか？
• RQ2 安全で重要なシステムの検証を、リスクに配慮した保証を可能にするVaR推定問題に再定式化できるか？
• RQ3 必要なサンプル数は初期状態およびパラメータ空間の次元に比例して増加するか？
• RQ4 最小限のサンプル数で、不安全なシステム状態およびパラメータの体積を高い信頼性で境界付けることができるか？
• RQ5 本手法は、マルチロボットフォーメーションのような高次元で非線形なシステムにおいても効果を示すか？

主な発見

• 高い信頼性（γ = 1−10⁻⁶）で、不安全な初期状態およびパラメータの体積が境界付けられ、計算された下限より上に少なくとも97.25%のレジリエンス分布が存在することが保証された。
• N = 500のサンプルで、下限として−ζ*ₙ = 0.0103が得られ、追加の20,000サンプルでの検証で、この下限未満のレジリエンスを示す軌道の割合が0.13%（l = 0.0013 < ε = 0.0275）にとどまった。
• 50回の繰り返し試行において、すべての境界が確率的基準を満たし、期待される失敗率10⁻⁶が確認された。
• 6台のロボット（N_R = 6）のシステムでは、同じサンプル数（N = 500）を維持し、最大のレジリエンス下限として−ζ*ₙ = 0.03698を達成した。l = 0.01455 < εであり、次元に依存しないことが示された。
• 本手法は次元に依存しない：状態空間およびパラメータ空間の複雑さや次元にかかわらず、必要なサンプル数は一定である。
• 本手法は、Robotariumプラットフォーム上でシミュレーションにより検証され、異なるロボット数やシステム構成において一貫した性能を示した。