[논문 리뷰] Process-Based Risk Measures for Observable and Partially Observable Discrete-Time Controlled Systems

Jingnan Fan|arXiv (Cornell University)|2015. 01. 01.

Risk and Portfolio Optimization참고 문헌 43인용 수 3

한 줄 요약

이 논문은 이산시간 제어 스토케스틱 시스템을 위한 프로세스 기반 위험 측도를 도입하며, 조건부 확률적 시간 일관성의 새로운 형태를 정의한다. 이러한 위험 측도는 상태의 기능에 대한 정적이고 법 불변 위험 측도로 표현될 수 있음을 입증하여, 완전 관측 및 부분 관측 마코프 과정에 대한 동적 프로그래밍 방정식을 가능하게 한다.

ABSTRACT

For controlled discrete-time stochastic processes we introduce a new class of dynamic risk measures, which we call process-based. Their main features are that they measure risk of processes that are functions of the history of the base process. We introduce a new concept of conditional stochastic time consistency and we derive the structure of process-based risk measures enjoying this property. We show that they can be equivalently represented by a collection of static law-invariant risk measures on the space of functions of the state of the base process. We apply this result to controlled Markov processes and we derive dynamic programming equations. Next, we consider partially observable processes and we derive the structure of stochastically conditionally time-consistent risk measures in this case. We prove that they can be represented by a sequence of law invariant risk measures on the space of function of the observable part of the state. We also prove corresponding dynamic programming equations.

연구 동기 및 목표

• 제어 스토케스틱 과정의 전체 경로를 기반으로 평가하는 동적 위험 측도—프로세스 기반—의 새로운 클래스를 개발하기 위해.
• 프로세스 기반 위험 측도의 맥락에서 조건부 확률적 시간 일관성을 정의하고 특성화하기 위해.
• 이러한 위험 측도 하에서 제어 마코프 과정에 대한 동적 프로그래밍 방정식을 유도하기 위해.
• 관측 가능한 상태의 부분 집합만 관측 가능한 시스템으로 이 프레임워크를 확장하기 위해.
• 부분 관측 케이스에서 확률적으로 조건부 시간 일관성을 갖는 위험 측도가 관측 가능한 상태의 함수에 대한 법 불변 위험 측도로 표현될 수 있음을 보여주기 위해.

제안 방법

• 기본 과정의 전체 역사를 기반으로 하는 기능으로서의 프로세스 기반 위험 측도를 도입하여, 경로 의존적 위험을 포착한다.
• 시간에 따른 위험 평가의 일관성을 보장하는 새로운 조건부 확률적 시간 일관성 개념을 정의한다.
• 시간 일관성을 만족하는 프로세스 기반 위험 측도가 상태 함수에 대한 정적이고 법 불변 위험 측도의 집합과 동치임을 입증한다.
• 표현을 제어 마코프 과정에 적용하여 벨만 유형의 동적 프로그래밍 방정식을 도출한다.
• 관측 가능한 상태 공간의 부분에 집중하여, 부분 관측 시스템으로 이 프레임워크를 확장한다.
• 부분 관측 케이스에서 확률적으로 조건부 시간 일관성을 갖는 위험 측도가 관측된 상태의 함수에 대한 법 불변 위험 측도로 표현될 수 있음을 증명한다.

실험 결과

연구 질문

• RQ1 종료 값이 아닌 전체 과정의 경로에 따라 의존하는 제어 스토케스틱 과정을 위한 위험 측도는 어떻게 정의할 수 있는가?
• RQ2 제어 시스템에서 경로 의존적 위험 측도에 대해 적절한 시간 일관성의 개념은 무엇인가?
• RQ3 시간 일관성을 만족하는 프로세스 기반 위험 측도는 상태 함수에 대한 정적이고 법 불변 위험 측도로 표현될 수 있는가?
• RQ4 완전 관측 마코프 과정에서 프로세스 기반 위험 측도 하에서 동적 프로그래밍 방정식은 어떻게 도출되는가?
• RQ5 부분 관측 시스템에서 확률적으로 조건부 시간 일관성을 갖는 위험 측도의 구조는 어떠한가?

주요 결과

• 조건부 확률적 시간 일관성을 만족하는 프로세스 기반 위험 측도는 기본 과정의 상태 함수에 정의된 정적이고 법 불변 위험 측도의 집합과 동치이다.
• 프로세스 기반 위험 측도 하에서 제어 마코프 과정에 대해 동적 프로그래밍 방정식을 도출할 수 있으며, 이는 순차 최적화를 가능하게 한다.
• 부분 관측 케이스에서는 확률적으로 조건부 시간 일관성을 갖는 위험 측도가 관측 가능한 상태의 함수에 대한 법 불변 위험 측도의 시퀀스로 표현될 수 있다.
• 부분 관측 설정에서의 표현은 정보가 불완전함에도 불구하고 위험 평가가 시간에 걸쳐 일관성을 유지함을 보장한다.
• 이 프레임워크는 동적 일관성을 유지하면서 제어 스토케스틱 과정에 위험 회피를 체계적으로 통합할 수 있는 방법을 제공한다.
• 결과는 기존의 위험 회피 동적 프로그래밍을 경로 의존적 위험 평가 및 부분 관측을 포함하는 시스템으로 일반화한다.