[论文解读] Action-Constrained Markov Decision Processes With Kullback-Leibler Cost

Ana Bušić, Sean Meyn|arXiv (Cornell University)|Jul 26, 2018

Climate Change Policy and Economics参考文献 1被引用 8

一句话总结

本文将 Todorov 的 Kullback-Leibler (KL) 成本框架扩展至动作受限设置，其中控制动作无法完全决定转移动态，原因在于外生扰动的存在。该研究引入了一个参数化的 MDP 家族，利用标量加权参数 ζ 通过基于常微分方程（ODE）的方法计算最优策略，从而在保持原始 KL 框架特征向量结构的同时，高效求解受限 MDP 问题。

ABSTRACT

This paper concerns computation of optimal policies in which the one-step reward function contains a cost term that models Kullback-Leibler divergence with respect to nominal dynamics. This technique was introduced by Todorov in 2007, where it was shown under general conditions that the solution to the average-reward optimality equations reduce to a simple eigenvector problem. Since then many authors have sought to apply this technique to control problems and models of bounded rationality in economics. A crucial assumption is that the input process is essentially unconstrained. For example, if the nominal dynamics include randomness from nature (e.g., the impact of wind on a moving vehicle), then the optimal control solution does not respect the exogenous nature of this disturbance. This paper introduces a technique to solve a more general class of action-constrained MDPs. The main idea is to solve an entire parameterized family of MDPs, in which the parameter is a scalar weighting the one-step reward function. The approach is new and practical even in the original unconstrained formulation.

研究动机与目标

• 为解决现有 KL 成本 MDP 框架的局限性，该框架假设控制动作不受限，无法建模风力或天气等外生扰动。
• 开发一种计算高效的算法，用于求解控制动作受限且无法完全决定转移概率的 MDP 问题。
• 将 Todorov 基于特征向量的平均奖励 MDP 解法推广至动作空间受限的场景。
• 实现在存在外生随机性（如随机风）的模型中，最优策略的实际计算，例如无人机在随机风中的导航。
• 为分布式控制、理性关注和需求调度系统等应用提供可扩展的框架。

提出的方法

• 构建一个参数化的 MDP 家族，其一步奖励函数包含标量加权的效用项与相对于名义动态的 KL 散度成本。
• 使用连续参数 ζ 权衡效用与 KL 成本，实现对一系列 MDP 的同时求解。
• 采用常微分方程（ODE）方法，在 ζ 的一系列取值范围内计算最优策略与价值函数。
• 将最优策略表示为通过 Perron-Frobenius 特征向量问题推导出的扭曲转移矩阵的解。
• 将该方法应用于包含随机风的无人机导航模型，其中动作受限，风被建模为外生的马尔可夫链。
• 通过一个 3D 网格状态空间（1,125 个状态）的数值实验验证方法，包含风力与障碍物动力学，结果表明方法具有收敛性，且策略随 ζ 值自适应变化。

实验结果

研究问题

• RQ1 KL 成本 MDP 框架能否扩展至控制动作无法完全决定转移概率的动作受限系统？
• RQ2 如何在存在风力或天气等外生扰动的 MDP 中高效计算最优策略？
• RQ3 标量加权参数 ζ 的变化对最优策略与价值函数结构有何影响？
• RQ4 基于 ODE 的方法是否在受限条件下仍保持原始 KL-MDP 框架的特征向量解结构？
• RQ5 在无人机导航任务中，最优策略如何适应环境噪声（如随机风）？

主要发现

• 基于 ODE 的方法成功在一系列 ζ 值范围内计算出最优策略，实现了效用与控制成本之间权衡的高效探索。
• 当 ζ = 0 时，策略遵循名义风向场；当 ζ = 1 和 ζ = 2 时，策略开始朝向目标引导，且随着 ζ 增大，方向性偏差增强。
• 随着 ζ 增大，扭曲转移矩阵 ${\check{P}}_{\zeta}$ 的特征值趋近于零，表明受控过程的收敛速度加快且方差减小。
• 代价到目标函数 $J^{*}$ 随 ζ 缓慢增长，表明中等控制努力下即可实现高性能。
• 即使在高维状态空间（1,125 个状态）中，该方法仍保持计算可行性，数值实验中观察到稳定收敛。
• 最优策略能适应环境条件：在远离目标的区域，策略会等待有利风力条件，体现出有界理性特征。