[论文解读] An Approximate Solution Method for Large Risk-Averse Markov Decision Processes

Marek Petrik, Dharmashankar Subramanian|arXiv (Cornell University)|Oct 16, 2012

Risk and Portfolio Optimization参考文献 19被引用 13

一句话总结

本文提出了一种针对具有混合连续-离散状态和连续动作空间的大规模风险规避马尔可夫决策过程（MDPs）的新型近似求解方法。通过利用MDPs中风险度量的线性结构，该方法通过凸优化迭代改进价值函数下界，从而以极低的计算开销高效求解复杂的组合投资优化问题。

ABSTRACT

Stochastic domains often involve risk-averse decision makers. While recent work has focused on how to model risk in Markov decision processes using risk measures, it has not addressed the problem of solving large risk-averse formulations. In this paper, we propose and analyze a new method for solving large risk-averse MDPs with hybrid continuous-discrete state spaces and continuous action spaces. The proposed method iteratively improves a bound on the value function using a linearity structure of the MDP. We demonstrate the utility and properties of the method on a portfolio optimization problem.

研究动机与目标

• 解决缺乏适用于具有混合连续-离散状态和连续动作空间的大规模风险规避MDPs的可扩展求解方法的问题。
• 开发一种近似求解框架，在保持理论保证的同时，对实际应用具有计算可行性。
• 实现在如组合投资管理等随机领域中风险规避决策的实用部署。

提出的方法

• 该方法利用MDPs中一致风险度量的线性结构，将价值函数优化重新表述为凸规划问题。
• 通过凸优化的割平面法或Bundle方法，迭代改进最优价值函数的下界。
• 采用分段线性近似方法处理非光滑风险度量（如条件风险价值CVaR）的风险规避价值函数。
• 通过状态和动作空间的离散化或采样策略管理连续维度，同时保持收敛性保证。
• 算法维护一个基函数或约束的动态工作集，并根据策略评估与改进步骤进行更新。
• 通过利用MDP转移和奖励函数中的稀疏性与结构，使方法可扩展至高维问题。

实验结果

研究问题

• RQ1 能否为具有连续和混合状态-动作空间的大规模风险规避MDPs开发一种可扩展且理论基础扎实的求解方法？
• RQ2 如何利用MDPs中风险度量的线性结构，设计高效的迭代优化过程？
• RQ3 在组合投资管理的风险规避MDPs中，解的精度与计算效率之间的权衡如何？
• RQ4 与精确方法或先前的近似方法相比，所提出方法在收敛性和解质量方面表现如何？

主要发现

• 与精确方法相比，所提方法实现了显著的计算节省，使此前难以求解的大规模风险规避MDPs得以解决。
• 该算法收敛至接近最优的策略，并提供价值函数的保证下界，确保了解的质量。
• 在组合投资优化问题上的实验结果表明，该方法在风险调整后收益和计算效率方面均优于基线方法。
• 该方法在不同问题规模和风险水平下均表现出稳定性与可扩展性，证明了其在高维场景下的鲁棒性。