[論文レビュー] Safety-Aware Optimal Control of Stochastic Systems Using Conditional Value-at-Risk

Samantha Samuelson, Insoon Yang|arXiv (Cornell University)|Feb 22, 2018

Risk and Portfolio Optimization参考文献 19被引用数 4

ひとこと要約

本稿では、安全リスクを条件付きリスク価値（CVaR）を用いて定量化することで、確率的システムにおける安全制御フレームワークを提案する。この手法により、安全確認と最適制御を統合的に扱えるようになり、リスク制約付き動的計画法を用いて、新たなリスク制約付き安全領域を計算する。このアプローチは、不確実性下での性能と安全のバランスを計算的に実行可能に実現する。

ABSTRACT

In this paper, we consider a multi-objective control problem for stochastic systems that seeks to minimize a cost of interest while ensuring safety. We introduce a novel measure of safety risk using the conditional value-at-risk and a set distance to formulate a safety risk-constrained optimal control problem. Our reformulation method using an extremal representation of the safety risk measure provides a computationally tractable dynamic programming solution. A useful byproduct of the proposed solution is the notion of a risk-constrained safe set, which is a new stochastic safety verification tool. We also establish useful connections between the risk-constrained safe sets and the popular probabilistic safe sets. The tradeoff between the risk tolerance and the mean performance of our controller is examined through an inventory control problem.

研究の動機と目的

• 不確実性下での確率的システムにおいて、コスト関数の最小化と安全の両立を達成する課題に対処する。
• 従来の確率的安全確認や制御の限界を克服し、安全リスクを最適制御定式化に直接統合する。
• 別々の確認と制御ステップを必要としない、計算的に実行可能な動的計画法の解法を開発する。
• 従来の確率的安全領域を一般化し、リスクに配慮したシステム解析を可能にする、新たな安全確認ツール「リスク制約付き安全領域」を導入する。
• 実用的な在庫管理応用において、制御性能（平均コスト）とリスク許容度（CVaR制約）のトレードオフを示す。

提案手法

• 安全領域$A$を安全運転領域として定義し、状態から集合までの距離のCVaRを安全リスクの指標として定義する。
• 極値表現を用いてCVaR制約を計算可能な期待値制約に再定式化し、動的計画法の定式化を可能にする。
• 歪度分布が有限にサポートされている場合、制約内での集合距離の計算を回避でき、ベルマン方程式が簡素化される。
• 許容可能な制御方策のもとで、将来のすべての安全リスク制約を満たせる初期状態の集合として、リスク制約付き安全領域を構築する。
• システムのダイナミクスがアフィンで、コスト関数が凸である場合、凸最適化アルゴリズムを用いて再定式化されたベルマン方程式を解く。
• リスク制約付き安全領域と古典的確率的安全領域との関係を確立し、前者がより保守的でリスク感受性であることを示す。

実験結果

リサーチクエスチョン

• RQ1 単純な確率閾値を超えて、極端な出来事（テールイベント）を考慮した安全リスクの定量化方法は何か？
• RQ2 別々の確認ステップを必要とせず、コスト最小化と安全リスク制約の両方を同時に満たす統合的最適制御フレームワークを構築可能か？
• RQ3 CVaRベースの安全制約を用いた場合、得られる最適制御問題の計算的構造はどのようなものか？
• RQ4 リスク制約付き安全領域は、既存の確率的安全領域とどのように関係し、安全確認において何の利点を提供するか？
• RQ5 在庫管理のような実用的制御応用において、平均性能とリスク許容度のトレードオフはどのように現れるか？

主な発見

• 提案されたCVaRベースの安全リスク指標は、VaRやチャンス制約に比べて、最悪事象の深刻さを考慮するため、テールリスクをより適切に捉える。
• 再定式化された動的計画法の解法は計算的に実行可能であり、リスク制約付き最適制御器を直接計算可能である。
• リスク制約付き安全領域は、与えられたリスク許容度のもとで、安全に制御可能なすべての初期状態を特定する、新たな検証ツールである。
• リスク許容度パラメータ$\delta$が小さくなる（制約が厳しくなる）ほど、平均総コストが増加する。これは、コストと安全の明確なトレードオフを示している。
• 時間依存のリスク制約付き安全領域$RS_{\alpha,\delta,t}(A)$は、時間の逆方向に縮小する。これは、予測期間が短くなるほど保守的になる傾向を反映している。
• 在庫管理の例では、$\delta$の値が大きいほど期待コストは低くなるが、安全領域$A=[0,100]$からの許容可能な逸脱が大きくなる。これは、リスクと性能のトレードオフを示している。