[论文解读] A Solution to Time-Varying Markov Decision Processes

Lantao Liu, Gaurav S. Sukhatme|arXiv (Cornell University)|May 3, 2016

Bayesian Modeling and Causal Inference参考文献 23被引用 4

一句话总结

本文提出了时变马尔可夫决策过程（TVMDP），这是一种新颖的框架，通过在不进行状态空间扩展或时间离散化的情况下对随时间变化的状态转移动态进行建模，将标准MDP扩展至处理时空不确定性。该框架提出了一种双值传播机制——结合空间贝尔曼备份与通过柯尔莫哥洛夫方程实现的时间演化——在使用真实海洋流数据的海洋机器人导航任务中表现出优越性能。

ABSTRACT

We consider a decision-making problem where the environment varies both in space and time. Such problems arise naturally when considering e.g., the navigation of an underwater robot amidst ocean currents or the navigation of an aerial vehicle in wind. To model such spatiotemporal variation, we extend the standard Markov Decision Process (MDP) to a new framework called the Time-Varying Markov Decision Process (TVMDP). The TVMDP has a time-varying state transition model and transforms the standard MDP that considers only immediate and static uncertainty descriptions of state transitions, to a framework that is able to adapt to future time-varying transition dynamics over some horizon. We show how to solve a TVMDP via a redesign of the MDP value propagation mechanisms by incorporating the introduced dynamics along the temporal dimension. We validate our framework in a marine robotics navigation setting using spatiotemporal ocean data and show that it outperforms prior efforts.

研究动机与目标

• 解决具有时变、空间分布不确定性（如海流或风场）环境中的决策问题。
• 将标准MDP框架扩展为可建模随时间演变的随机转移，而非假设转移概率为静态。
• 开发一种避免时间离散化与状态空间扩展，同时保持计算可行性的解决方案。
• 在使用时空海洋流数据的真实海洋机器人导航场景中验证该框架。

提出的方法

• 提出时变MDP（TVMDP）作为标准MDP的扩展，其中转移模型显式依赖于时间。
• 引入双值传播机制：通过标准贝尔曼备份实现空间传播，通过柯尔莫哥洛夫方程实现时间传播。
• 利用动作向量与扰动向量导出的多变量正态分布混合模型，对时变转移动态进行建模。
• 通过坐标变换与边缘化，计算朝向目标下一状态方向的运动条件期望。
• 基于结果状态分布的条件期望，推导出运动方向上的期望速度，以估计单步转移时间。
• 采用非离散化、连续时间公式化方法，对规划时域内演化的转移动态进行建模。

实验结果

研究问题

• RQ1 能否设计一种决策框架，在不进行时间离散化或状态空间扩展的前提下，处理时变随机状态转移？
• RQ2 如何对转移动态的时间演化进行建模，并将其整合到价值函数计算中以实现最优规划？
• RQ3 在海流等动态环境中，引入时变转移模型是否能提升导航性能？
• RQ4 与现有方法（如TDMDP或标准MDP）相比，所提出的TVMDP在规划精度与计算效率方面表现如何？

主要发现

• TVMDP框架成功在连续时间中建模了时变转移动态，无需时间离散化或状态空间扩展。
• 双值传播机制——空间贝尔曼备份与通过柯尔莫哥洛夫方程实现的时间演化——实现了对两个维度的准确价值函数更新。
• 在使用真实海洋流数据的海洋机器人导航任务中，TVMDP优于先前方法，包括近似化的TDMDP与标准MDP。
• 通过利用预测的、时变的环境动力学，该方法能够更准确地预测未来转移不确定性，从而提升规划精度。
• 通过坐标变换与条件期望的使用，可高效估算基于行进方向上期望运动速度的单步转移时间。