[论文解读] Cumulative Prospect Theory Meets Reinforcement Learning: Prediction and Control

L. A. Prashanth, Jie Cheng+3 more|arXiv (Cornell University)|Jun 8, 2015

Traffic control and management参考文献 52被引用 47

一句话总结

该论文通过基于模拟的随机逼近方法，提出了一种基于累积前景理论（CPT）的价值估计与优化框架，将累积前景理论（CPT）整合进强化学习。该方法引入了一种分布式估计方案和基于SPSA的算法，并提供了理论收敛保证，在诸如交通信号优化等风险敏感控制任务中表现出更优性能。

ABSTRACT

Cumulative prospect theory (CPT) is known to model human decisions well, with substantial empirical evidence supporting this claim. CPT works by distorting probabilities and is more general than the classic expected utility and coherent risk measures. We bring this idea to a risk-sensitive reinforcement learning (RL) setting and design algorithms for both estimation and control. The RL setting presents two particular challenges when CPT is applied: estimating the CPT objective requires estimations of the entire distribution of the value function and finding a randomized optimal policy. The estimation scheme that we propose uses the empirical distribution to estimate the CPT-value of a random variable. We then use this scheme in the inner loop of a CPT-value optimization procedure that is based on the well-known simulation optimization idea of simultaneous perturbation stochastic approximation (SPSA). We provide theoretical convergence guarantees for all the proposed algorithms and also illustrate the usefulness of CPT-based criteria in a traffic signal control application.

研究动机与目标

• 通过引入累积前景理论（CPT）扩展强化学习至风险敏感设置，CPT能够建模人类在不确定性下的决策行为，包括概率扭曲。
• 解决在强化学习中估计随机变量CPT值的挑战，该过程需要完整的分布估计，而不仅仅是期望值。
• 开发一种实用的CPT基控制算法框架，以应对随机最优策略的需求。
• 为基于CPT准则的价值估计与策略优化提供理论收敛保证。
• 在真实世界应用中（如交通信号控制）验证CPT基强化学习的实证效用。

提出的方法

• 利用回报的经验分布来估计随机变量的CPT值，实现在强化学习中的分布式估计。
• 在内层循环中应用同时扰动随机逼近（SPSA）以优化CPT目标，实现无梯度策略学习。
• 设计两级优化流程：内层循环使用经验分布估计CPT值，外层循环通过SPSA更新策略参数。
• 引入随机策略表示，以捕捉CPT中固有的非线性概率加权特性。
• 采用基于仿真的方法，以处理CPT目标函数的非凸性和非光滑性。
• 在较弱正则性条件下，为价值估计与策略优化过程提供理论收敛证明。

实验结果

研究问题

• RQ1 累积前景理论能否在强化学习中有效应用于风险敏感决策？
• RQ2 在数据有限的分布式强化学习设置中，如何估计随机变量的CPT值？
• RQ3 在随机且非光滑环境中，何种优化算法适用于最大化CPT目标？
• RQ4 在真实世界控制任务中，CPT基强化学习与标准期望效用强化学习相比，在性能与鲁棒性方面表现如何？
• RQ5 在强化学习中，CPT基价值估计与策略优化可建立何种理论保证？

主要发现

• 基于经验分布的CPT值估计方案在仿真中实现了CPT目标的一致且稳定的估计。
• 基于SPSA的优化算法在标准假设下收敛至CPT目标的驻点，具有理论保证。
• 该方法成功学习到反映CPT概率加权效应的随机策略，实现了风险敏感行为。
• 在交通信号控制应用中，CPT基强化学习在减少平均延迟和提升对交通波动的鲁棒性方面优于标准期望效用强化学习。
• 该算法在真实世界控制场景中展现出实际可行性与有效性，验证了CPT在风险敏感强化学习中的实用价值。