[논문 리뷰] Partially Observable Risk-Sensitive Stopping Problems in Discrete Time

Nicole Bäuerle, Ulrich Rieder|arXiv (Cornell University)|2017. 03. 28.

Risk and Portfolio Optimization참고 문헌 19인용 수 3

한 줄 요약

이 논문은 이산 시간에서 부분적으로 관찰 가능한 위험 민감도 최적 정지 문제를 해결하기 위한 일반적 프레임워크를 개발한다. 위험 선호도를 모델링하기 위해 오목한 유틸리티 함수에서 유도된 확정 등가를 사용한다. 최적 정지 시점의 존재성을 증명하고, 위험 회피 성향이 증가할수록 정지 시점이 늦어짐을 보이며, 지수 유틸리티 하에서 베이지안 주택 매도 문제의 예약 수준을 계산하기 위한 명시적 재귀 알고리즘을 제시한다.

ABSTRACT

In this paper we consider stopping problems with partial observation under a general risk-sensitive optimization criterion for problems with finite and infinite time horizon. Our aim is to maximize the certainty equivalent of the stopping reward. We develop a general theory and discuss the Bayesian risk-sensitive house selling problem as a special example. In particular we are able to study the influence of the attitude towards risk of the decision maker on the optimal stopping rule.

연구 동기 및 목표

• 유한 및 무한 시간 영역을 가진 부분 관찰 가능한 마르코프 과정으로 위험 민감도 최적 정지 이론을 확장한다.
• 유틸리티 함수가 위험 선호도를 반영하는 랜덤 보상의 확정 등가를 사용하여 위험 하에서의 의사결정을 모델링한다.
• 최적 정지 시점의 존재 조건을 설정하고, 그들의 계산을 위한 재귀 알고리즘을 개발한다.
• 위험 회피 성향이 최적 정지 규칙에 미치는 영향을 분석하며, 특히 베이지안 주택 매도 문제에서 다룬다.
• 부분 정보와 지수 유틸리티 하에서 기존의 위험 중립 결과를 위험 민감도 사례로 일반화한다.

제안 방법

• 최적화 기준으로서 유틸리티 함수 $ U $ 가 오목일 때, $ \rho_U(X) = U^{-1}(\mathbb{E}[U(X)]) $ 를 사용한다.
• 위험 민감도를 특성화하기 위해 어워-프라트의 절대 위험 회피도 측정법 $ l_U(x) = -U''(x)/U'(x) $ 를 적용한다.
• 믿음 상태 $ \mu_n $ 와 누적 비용 $ s_n $ 를 사용하여 유한 영역 문제에 대한 재귀 값 반복 알고리즘을 개발한다.
• 부분 관찰 시스템에서 각 관측 이후 사후 믿음을 전파하기 위해 업데이트 연산자 $ \Phi $ 를 도입한다.
• 무한 영역의 경우 예약 수준에 대한 고정점 방정식을 유도하며, 특히 $ \gamma < 0 $ 인 지수 유틸리티 $ U(x) = \frac{1}{\gamma}e^{\gamma x} $ 의 경우를 다룬다.
• 뒤로 거슬러 올라가는 유도 기반의 시간 및 믿음에 의존하는 예약 수준 $ x_{n,\infty}^*(\mu) $ 에 기반한 정지 규칙의 최적성을 증명한다.

실험 결과

연구 질문

• RQ1 일반 유틸리티 함수를 가진 부분 관찰 가능한 이산 시간 시스템에서 위험 민감도 최적 정지를 어떻게 공식화할 수 있는가?
• RQ2 부분 정보가 있는 베이지안 모델에서 위험 회피 성향이 최적 정지 시점에 어떤 영향을 미치는가?
• RQ3 무한 영역의 경우 예약 수준을 특성화할 수 있는가? 그리고 믿음 상태와 시간에 어떻게 의존하는가?
• RQ4 유틸리티 함수의 선택이 최적 정지 규칙의 구조에 어떤 영향을 미치는가?
• RQ5 최적 정지 시점이 존재하는 조건은 무엇이며, 이를 재귀적으로 계산할 수 있는가?

주요 결과

• 최적 정지 시점은 시간 및 믿음에 의존하는 예약 수준 $ x_{n,\infty}^*(\mu) $ 로 특성화되며, 이는 재귀 고정점 방정식을 통해 계산된다.
• 지수 유틸리티 $ U(x) = \frac{1}{\gamma}e^{\gamma x} $ 를 사용할 경우, 예약 수준은 $ x_{\infty}^*(\mu) = -c + \frac{1}{\gamma}\ln\left(\int e^{\gamma \max\{x, x_{\infty}^*(\Phi(x,\mu))\}} Q(dx|\mu)\right) $ 를 만족한다.
• 일반 조건 하에서 최적 정지 시점은 거의 확실히 유한하다. 엄격한 음수의 운영 비용이 존재하더라도 마찬가지다.
• 더 위험 회피 성향이 강한 의사결정자(낮은 $ \gamma $)는 더 늦게 정지함을 보여, $ x_{n,\infty}^*(\mu, U) $ 가 위험 회피 성향에 대해 단조롭게 증가함을 보였다.
• 유틸리티 함수가 DARA(감소하는 절대 위험 회피도)일 경우, 예약 수준 $ x_{n,\infty}^*(\mu) $ 는 시간 $ n $ 에 대해 감소한다.
• 가치 함수는 유계이며 동적 프로그래밍 원리를 만족하므로, 최적 정책의 재귀적 계산이 가능하다.