[논문 리뷰] Process-Based Risk Measures and Risk-Averse Control of Discrete-Time Systems

Jingnan Fan, Andrzej Ruszczyński|arXiv (Cornell University)|2014. 11. 11.

Risk and Portfolio Optimization참고 문헌 43인용 수 5

한 줄 요약

이 논문은 제어된 이산시간 확률과정에 대한 프로세스 기반 위험 측도를 제안하며, 마코프 결정 과정에서의 위험 회피적 제어에 초점을 맞춘다. 동적 프로그래밍 설정을 가능하게 하는 새로운 개념인 확률적 조건부 시간 일관성(stochastic conditional time consistency)을 도입하여, 상태공간 함수에 대한 정적이고 법칙에 독립적인 위험 측도를 통해 이론적 기반을 마련하며, 기존 접근법을 일반화한다.

ABSTRACT

For controlled discrete-time stochastic processes we introduce a new class of dynamic risk measures, which we call process-based. Their main features are that they measure risk of processes that are functions of the history of a base process. We introduce a new concept of conditional stochastic time consistency and we derive the structure of process-based risk measures enjoying this property. We show that they can be equivalently represented by a collection of static law-invariant risk measures on the space of functions of the state of the base process. We apply this result to controlled Markov processes and we derive dynamic programming equations.

연구 동기 및 목표

• 기존의 제어된 마코프 과정에 대한 동적 위험 측도 이론의 한계, 특히 시간 일관성과 법칙에 독립성에 관해 해결하고자 한다.
• 유용성, 지수적, 평균-분산 모델을 일반화하는 통합된 프레임워크를 위험 회피적 제어를 위해 개발하고자 한다.
• 상태에 의존하는 위험 매핑을 사용한 순차적 위험 평가를 지원하는 새로운 개념인 확률적 조건부 시간 일관성을 수립하고자 한다.
• 일반적인 제어된 마코프 과정 하에서 위험 회피적 제어를 위한 동적 프로그래밍 방정식을 유도하고자 한다.
• 프로세스 기반 위험 측도에 대한 엄밀한 이론적 기반을 확립하여 이전 연구에서의 임의적 구성 요소를 해결하고자 한다.

제안 방법

• 제어된 과정의 전체 샘플 경로를 대상으로 위험을 평가하는 프로세스 기반 위험 측도를 도입하며, $ Z_t = c_t(X_t, u_t) $ 형태의 비용 함수에 초점을 맞춘다.
• 조건부 분포와 확률적 지배를 기반으로 하는 점별 비교가 아닌, 새로운 시간 일관성 개념인 확률적 조건부 시간 일관성을 제안한다.
• 이 성질을 만족하는 위험 측도가 상태공간 $ \mathcal{X} $ 의 함수에 대한 정적이고 법칙에 독립적인 위험 측도의 가족과 동치임을 특성화한다.
• 상태공간 함수에 정의된 단계별 매핑을 통해 위험 측도를 순차적으로 표현함으로써 동적 프로그래밍 방정식을 도출한다.
• 확률측도의 약한 수렴 하에서 위험 매핑의 약한 연속성과 하부 연속성을 확립하여 최적화에서의 안정성을 보장한다.
• 프레임워크를 제어된 마코프 과정에 적용하여 [40]에서 이전에 얻은 결과를 복원하고 일반화하며, 더 넓은 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 제어된 이산시간 시스템에서 전체 확률과정에 대해 동적 위험 측도를 일관되게 정의할 수 있는 방법은 무엇인가?
• RQ2 제어된 마코프 과정의 맥락에서 확률적 조건부 시간 일관성을 확보하기 위해 위험 측도가 어떤 형태를 가져야 하는가?
• RQ3 상태공간 함수에 대한 정적이고 법칙에 독립적인 위험 측도를 사용하면서도 순차적 구조를 유지할 수 있는 위험 회피적 제어 문제를 어떻게 설정할 수 있는가?
• RQ4 프로세스 기반 위험 측도는 유용성 기반, 엔트로픽, 평균-분산 접근법을 어떻게 일반화하는가?
• RQ5 최적화 목적을 위해 결과로 도출된 위험 매핑의 연속성과 하부 연속성을 보장하기 위한 조건은 무엇인가?

주요 결과

• 이 논문은 확률적 조건부 시간 일관성을 만족하는 프로세스 기반 위험 측도가 상태공간 함수에 정의된 정적이고 법칙에 독립적인 위험 측도의 가족과 동치임을 입증한다.
• 일반적인 제어된 전이 커널 하에서 제어된 마코프 과정의 위험 회피적 제어에 대해 동적 프로그래밍 원리를 도출하였다.
• 이 프레임워크는 유용성 기반 및 엔트로픽 위험 모델을 일반화하지만, 시간 일관성이 없기 때문에 평균-분산 모델은 배제된다.
• 위험 매핑 $ \sigma(x, q, v) $ 는 $ q $ 에 대해 약한 연속성과 $ v $ 에 대해 하부 연속성을 보이며, 최적화에서의 안정성을 보장한다.
• 상태에 의존하는 $ \alpha(x) $ 를 갖는 평균-가치-하한(average-value-at-risk)의 경우, $ \alpha(x) $ 가 연속이면 매핑이 연속임을 보이며, 이는 수치적 방법의 적용을 지원한다.
• 이론은 [40]에서의 이전 히وري스틱한 구성 요소를 엄밀한 공리적 개발을 통해 해결하며, 견고한 기반을 제공한다.