[논문 리뷰] Iterated risk measures for risk-sensitive Markov decision processes with discounted cost

Takayuki Osogami|arXiv (Cornell University)|2012. 02. 14.

Probability and Risk Models인용 수 5

한 줄 요약

이 논문은 할인된 기대효용이 할인된 비용을 가진 위험민감한 마르코프 결정과정(MDP)에서 나타나는 한계를 해결하기 위해 반복적 위험 측도를 제안한다. 시간에 따라 위험 측도를 반복적으로 적용함으로써 이 접근법은 시간에 일관된 의사결정을 보장하며, 할인된 기대효용으로는 표현할 수 없는 합리적인 선호를 표현할 수 있어, 불확실성 하에서의 위험민감한 계획 수립에서의 모순을 해결한다.

ABSTRACT

We demonstrate a limitation of discounted expected utility, a standard approach for representing the preference to risk when future cost is discounted. Specifically, we provide an example of the preference of a decision maker that appears to be rational but cannot be represented with any discounted expected utility. A straightforward modification to discounted expected utility leads to inconsistent decision making over time. We will show that an iterated risk measure can represent the preference that cannot be represented by any discounted expected utility and that the decisions based on the iterated risk measure are consistent over time.

연구 동기 및 목표

• 할인된 비용을 가진 MDP에서 시간에 따라 합리적인 위험 선호를 표현하는 데 있어 할인된 기대효용의 한계를 규명하는 것.
• 표준 위험민감한 효용 모델을 시간에 따라 적용할 경우 발생하는 의사결정의 모순을 해결하는 것.
• 시간 일관성을 보장하는 새로운 프레임워크인 반복적 위험 측도를 제안하는 것.
• 반복적 위험 측도가 할인된 기대효용 모델과는 호환되지 않는 선호를 표현할 수 있음을 보여주는 것.
• 할인된 비용을 가진 불확실성 하에서의 위험민감한 계획 수립을 위한 이론적으로 타당하고 계산적으로 실현 가능한 방법을 제공하는 것.

제안 방법

• 논문은 마르코프 결정과정의 각 단계에서 위험 측도를 반복적으로 적용하는 방식으로 반복적 위험 측도를 정의한다.
• 각 의사결정 시점에서 일관된 위험 측도(예: 조건부가치위험)를 적용하여 위험 평가를 시간에 따라 거꾸로 전파한다.
• 모든 의사결정 단계에서 동일한 위험 태도를 유지함으로써 시간 일관성을 확보함으로써 동적 일관성의 문제를 피한다.
• 최종 비용뿐만 아니라 비용 누적 과정에 위험 선호를 통합함으로써 기대효용을 일반화하는 접근법이다.
• 최적 정책을 계산하기 위해 동적 프로그래밍 원리를 활용하여 타당성을 확보한다.
• 반복적 위험 측도가 할인된 기대효용으로 표현되지 않는 합리적인 선호를 성공적으로 표현함을 보여주는 반례를 통해 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 할인된 MDP에서 모든 합리적인 위험 선호는 할인된 기대효용으로 표현될 수 있는가?
• RQ2 표준 효용 모델을 사용할 경우 위험민감한 의사결정에서 시간 불일치가 발생하는 원인은 무엇인가?
• RQ3 시간에 따라 순차적 의사결정 문제에서 시간 일관성을 확보하기 위해 위험 측도를 어떻게 반복적으로 적용할 수 있는가?
• RQ4 반복적 위험 측도로 표현될 수 있지만, 어떤 할인된 기대효용 모델로도 표현될 수 없는 선호의 범주는 무엇인가?
• RQ5 반복적 위험 측도 프레임워크는 할인된 비용을 가진 MDP에서 계산적으로 실현 가능하고 실용적인가?

주요 결과

• 할인된 비용을 가진 MDP에서 할인된 기대효용 모델로 표현할 수 없는 합리적인 위험 선호가 존재한다.
• 표준 할인된 기대효용은 이러한 선호에 적용될 경우 시간 불일치한 의사결정을 초래하여 동적 일관성을 위반한다.
• 반복적 위험 측도 프레임워크는 할인된 기대효용과 호환되지 않는 선호를 성공적으로 표현하며, 시간 일관성을 보장한다.
• 이 방법은 기대효용에 대한 수학적으로 타당하고 계산적으로 타당한 대안을 제공한다.
• 모든 단계에서 위험 측도를 반복적으로 적용함으로써 동적 불일치를 해결하고, 의사결정자가 시간에 따라 위험 태도를 유지함으로써 의사결정자의 위험 태도를 보존한다.
• 반대 예시를 통해 할인된 기대효용이 실패하는 반면, 반복적 위험 측도가 합리적 행동을 성공적으로 포착함을 입증하였다.