[论文解读] Iterated risk measures for risk-sensitive Markov decision processes with discounted cost

Takayuki Osogami|arXiv (Cornell University)|Feb 14, 2012

Probability and Risk Models被引用 5

一句话总结

本文提出迭代风险度量作为解决折扣期望效用在具有折扣成本的风险敏感马尔可夫决策过程中的局限性的方法。通过在时间上递归应用风险度量，该方法确保了时间一致性决策，并能表示折扣期望效用无法表示的理性偏好，从而解决了不确定性下风险敏感规划中的不一致问题。

ABSTRACT

We demonstrate a limitation of discounted expected utility, a standard approach for representing the preference to risk when future cost is discounted. Specifically, we provide an example of the preference of a decision maker that appears to be rational but cannot be represented with any discounted expected utility. A straightforward modification to discounted expected utility leads to inconsistent decision making over time. We will show that an iterated risk measure can represent the preference that cannot be represented by any discounted expected utility and that the decisions based on the iterated risk measure are consistent over time.

研究动机与目标

• 识别折扣期望效用在具有折扣成本的MDP中随时间表示理性风险偏好时的局限性。
• 解决在长期应用标准风险敏感效用模型时出现的决策不一致问题。
• 提出一种新颖的框架——迭代风险度量，以确保风险敏感决策的时间一致性。
• 证明迭代风险度量能够表示那些理性但与任何折扣期望效用模型不相容的偏好。
• 提供一种理论严谨且计算可行的方法，用于具有折扣成本的不确定性下的风险敏感规划。

提出的方法

• 本文将迭代风险度量定义为在马尔可夫决策过程每个阶段递归应用风险度量。
• 在每个决策时刻应用一致风险度量（例如，条件风险价值），并沿时间反向传播风险评估。
• 通过在所有决策阶段保持相同的风险态度，确保时间一致性，避免动态不一致。
• 该方法通过将风险偏好整合到成本累积过程中，而非仅关注最终成本，从而推广了期望效用。
• 利用动态规划原理计算在迭代风险度量下的最优策略，确保可计算性。
• 通过一个反例验证该框架：折扣期望效用无法表示某种理性偏好，而迭代风险度量能够成功表示。

实验结果

研究问题

• RQ1 是否所有具有折扣成本的MDP中的理性风险偏好都能由折扣期望效用表示？
• RQ2 在使用标准效用模型时，风险敏感决策中导致时间不一致的原因是什么？
• RQ3 如何递归应用风险度量以确保序列决策问题中的时间一致性？
• RQ4 哪些偏好的类别可以由迭代风险度量表示，但无法由任何折扣期望效用模型表示？
• RQ5 迭代风险度量框架在具有折扣成本的MDP中是否计算上可行且具有实际应用价值？

主要发现

• 在具有折扣成本的MDP中，存在无法由任何折扣期望效用模型表示的理性风险偏好。
• 当将标准折扣期望效用应用于此类偏好时，会导致时间不一致的决策，违反动态一致性。
• 迭代风险度量框架成功表示了与折扣期望效用不相容的偏好，确保了时间一致性。
• 该方法为风险敏感规划提供了一种数学上严谨且计算上可行的期望效用替代方案。
• 通过在每个阶段递归应用风险度量，该框架通过保持决策者随时间不变的风险态度，解决了动态不一致问题。
• 通过一个反例证明该方法有效：在该例中，折扣期望效用失败，而迭代风险度量成功捕捉了理性行为。