[논문 리뷰] Safety-Aware Optimal Control of Stochastic Systems Using Conditional Value-at-Risk

Samantha Samuelson, Insoon Yang|arXiv (Cornell University)|2018. 02. 22.

Risk and Portfolio Optimization참고 문헌 19인용 수 4

한 줄 요약

이 논문은 확률적 시스템의 안전성 위험을 측정하기 위해 조건부가치하한도(CVaR)를 사용하는 안전성 인식 최적 제어 프레임워크를 제안한다. 이는 안전성 검증과 최적 제어를 통합하는 방법을 제공하며, 위험 제약이 있는 동적 프rogramming 해법을 수립하여 불확실성 하에서 성능과 안전성의 균형을 계산적으로 실현 가능한 방식으로 확보한다.

ABSTRACT

In this paper, we consider a multi-objective control problem for stochastic systems that seeks to minimize a cost of interest while ensuring safety. We introduce a novel measure of safety risk using the conditional value-at-risk and a set distance to formulate a safety risk-constrained optimal control problem. Our reformulation method using an extremal representation of the safety risk measure provides a computationally tractable dynamic programming solution. A useful byproduct of the proposed solution is the notion of a risk-constrained safe set, which is a new stochastic safety verification tool. We also establish useful connections between the risk-constrained safe sets and the popular probabilistic safe sets. The tradeoff between the risk tolerance and the mean performance of our controller is examined through an inventory control problem.

연구 동기 및 목표

• 불확실성 하에서 비용 함수를 최소화하고 동시에 안전성을 확보하는 데 도전하는 문제를 해결한다.
• 기존의 확률적 안전성 검증 및 제어의 한계를 극복하기 위해 안전성 위험을 최적 제어 형식에 직접 통합한다.
• 분리된 검증 및 제어 단계가 필요 없는 계산적으로 실현 가능한 동적 프로그래밍 해법을 개발한다.
• 기존의 확률적 안전집합을 일반화하고 위험 인식 시스템 분석을 가능하게 하는 새로운 안전성 검증 도구인 위험 제약 안전집합을 도입한다.
• 실제 재고 제어 응용 사례를 통해 제어기 성능(평균 비용)과 위험 수용 수준(CVaR 제약) 사이의 트레이드오프를 입증한다.

제안 방법

• 안전 운영 영역을 나타내는 집합 $A$에 대한 상태에서 집합까지의 거리에 대한 CVaR를 사용하여 안전성 위험 측도를 정의한다.
• 극한 표현을 통해 CVaR 제약 조건을 계산 가능한 기대값 제약 조건으로 재구성함으로써 동적 프로그래밍 해법을 가능하게 한다.
• 유한 지지 확률 분포를 갖는 외란에 대해서는 제약 조건 내에서 집합 거리 계산이 필요 없게 되어 벨만 방정식이 단순화된다.
• 허용 가능한 제어 정책 하에서 향후 모든 안전성 위험 제약 조건을 충족시킬 수 있는 초기 상태의 집합으로서 위험 제약 안전집합을 구성한다.
• 시스템 동역학이 애फ인이고 비용 함수가 볼록일 경우, 재구성된 벨만 방정식을 해결하기 위해 볼록 최적화 알고리즘을 사용한다.
• 위험 제약 안전집합과 고전적 확률적 안전집합 간의 관계를 규명하여, 후자가 더 보수적이고 위험 민감하다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 간단한 확률 임계값을 넘어서 꼬리 사건을 고려할 수 있는 방식으로, 확률적 시스템의 안전성 위험을 어떻게 정량화할 수 있는가?
• RQ2 분리된 검증 단계 없이 동시에 비용을 최소화하고 안전성 위험 제약을 이행하는 통합 최적 제어 프레임워크를 개발할 수 있는가?
• RQ3 CVaR 기반의 안전성 제약 조건을 사용할 경우, 도출되는 최적 제어 문제의 계산적 구조는 어떠한가?
• RQ4 위험 제약 안전집합은 기존의 확률적 안전집합과 어떤 관계가 있으며, 안전성 검증에서 어떤 이점을 제공하는가?
• RQ5 실제 제어 응용 사례인 재고 관리와 같은 맥락에서 평균 성능와 위험 수용 수준 사이의 트레이드오프는 어떠한가?

주요 결과

• 제안된 CVaR 기반 안전성 위험 측도는 VaR나 확률 제약 조건보다 악성 왜곡의 심각도를 반영하여 꼬리 위험을 더 잘 포착한다.
• 다시 구성된 동적 프로그래밍 해법은 계산적으로 실현 가능하며, 위험 제약이 있는 최적 제어기를 직접 계산할 수 있게 한다.
• 위험 제약 안전집합은 주어진 위험 수용 수준 하에서 안전하게 제어될 수 있는 모든 초기 상태를 식별하는 새로운 검증 도구이다.
• 위험 수용 수준 파라미터 $\delta$가 감소할수록(더 엄격한 제약 조건), 평균 총 비용이 증가함을 보여주며, 비용과 안전성 사이의 명확한 트레이드오프를 입증한다.
• 시간에 따라 변하는 위험 제약 안전집합 $RS_{\alpha,\delta,t}(A)$는 시간이 뒤로 갈수록 작아지며, 수명 주기가 짧아질수록 점점 더 보수적인 성향을 보인다.
• 재고 제어 사례에서 $\delta$ 값이 클수록 기대 비용은 낮아지지만, 안전집합 $A=[0,100]$에서의 允許 허용 편차는 커지며, 이는 위험-성능 트레이드오프를 잘 보여준다.