[論文レビュー] Sample-Based Bounds for Coherent Risk Measures: Applications to Policy Synthesis and Verification

Prithvi Akella, Anushri Dixit+3 more|arXiv (Cornell University)|Apr 21, 2022

Health Systems, Economic Evaluations, Quality of Life被引用数 4

ひとこと要約

本稿では、不確実なロボットシステムにおける高信頼性のリスク認識検証およびポリシー合成を可能にするために、$g$-エントロピックリスク測度—一様なリスク測度のクラス—のサンプルベースの境界を提案する。集中不等式とサンプルベース最適化を活用することで、99%の信頼度で代替案の99%以上を上回るポリシーを同定する。シミュレーションにおいて、リスク認識制御器がベースラインを上回ることを確認した。

ABSTRACT

The dramatic increase of autonomous systems subject to variable environments has given rise to the pressing need to consider risk in both the synthesis and verification of policies for these systems. This paper aims to address a few problems regarding risk-aware verification and policy synthesis, by first developing a sample-based method to bound the risk measure evaluation of a random variable whose distribution is unknown. These bounds permit us to generate high-confidence verification statements for a large class of robotic systems. Second, we develop a sample-based method to determine solutions to non-convex optimization problems that outperform a large fraction of the decision space of possible solutions. Both sample-based approaches then permit us to rapidly synthesize risk-aware policies that are guaranteed to achieve a minimum level of system performance. To showcase our approach in simulation, we verify a cooperative multi-agent system and develop a risk-aware controller that outperforms the system's baseline controller. We also mention how our approach can be extended to account for any $g$-entropic risk measure - the subset of coherent risk measures on which we focus.

研究の動機と目的

• 未知の分布を持つ状況における$g$-エントロピックリスク測度のサンプルベースの境界を構築し、リスク認識検証とポリシー合成を可能にすること。
• 不確実システムにおけるリスク測度の高信頼性上界を生成するための基本的なサンプルサイズ要件を確立すること。
• リスク認識検証を、サンプルベースの境界を用いたリスク測度同定問題に再定式化すること。
• 高い信頼度で意思決定空間の大部分を上回る性能を達成するポリシーを同定するサンプルベース最適化アプローチを開発すること。
• 協調的マルチエージェントシステム上で手法を実証し、リスク認識の観点からベースライン制御器を上回る性能を示すこと。

提案手法

• $g$-エントロピックリスク測度の集中不等式を、i.i.d.サンプルからの経験的リスク推定を用いて導出する。
• Hoeffding型不等式を適用し、リスク測度評価の上尾根を高い確率で上界で抑え込む。
• リスク認識検証を、システムの軌道から導かれる確率変数のリスク測度推定問題に再定式化する。
• サンプルベース最適化を用い、$N \geq 459$ 個のサンプルパラメータに基づいて、99%信頼度で性能が99百分位に達するポリシーを同定する。
• パラメータ$p$が制御器を表すように、$\rho(\mathbf{x}^{\theta,p})$という耐性測度を用いて不確実性下でのシステム性能を評価する。
• サンプルベースリスク境界を非凸最適化問題における目的関数として統合し、ポリシー合成を実現する。

実験結果

リサーチクエスチョン

• RQ1 分布が未知である状況で、$g$-エントロピックリスク測度の高信頼性上界を生成するための最小サンプル数は何か？
• RQ2 サンプルベースの境界を用いて、リスク認識システム性能の高信頼性の検証文言を生成できるか？
• RQ3 サンプルベース手法は、リスク認識最適化において意思決定空間の大部分を上回る性能を達成するポリシーを同定できるか？
• RQ4 提案手法を、リスク認識の観点から大多数の代替案を上回ることを保証できる制御器の合成に拡張できるか？
• RQ5 既存の検証手法と比較して、サンプルベース境界はタイトさと保守性の点で優れているか？

主な発見

• $N_{\mathcal{R}} = 149$ 個のサンプルを用いることで、$\alpha = 0.1$ の場合に、耐性のCVaRに対する95%信頼上界が $-0.1489$ に達し、高信頼性の性能検証を保証する。
• パラメータセット $p_i$ が特定され、$\operatorname{\mathcal{R}}(p_i, 0.95, 0.1) = -0.1489$ の上界を達成した。これは、99%の信頼度で性能が99百分位に達することを確認する。
• 図10に示すように、リスク認識制御器はロボタリアムベースライン制御器よりも耐性分布で優れており、リスク認識性能の優位性が確認された。
• 99%信頼度で99百分位の性能を達成するポリシーを同定するには、$N \geq 459$ 個のサンプルが必要であることが、補題9から導出された。
• 理論的境界は数値的に検証され、サンプルベースの集中不等式および最適化フレームワークの正しさが確認された。
• 本手法により、未知の不確実性分布を事前に知らなくても、体系的なリスク認識検証とポリシー合成が可能となった。