[论文解读] A Unifying Framework for Linearly Solvable Control

Krishnamurthy Dvijotham, Emanuel Todorov|arXiv (Cornell University)|Feb 14, 2012

Robotic Path Planning Algorithms参考文献 6被引用 8

一句话总结

本文通过使用Rényi散度对线性可解马尔可夫决策过程（LMDPs）进行推广，提出了一种统一的线性可解控制框架，实现了可调风险厌恶（a > 0）或风险寻求（a < 0）的风险敏感控制。该方法在a → 0时恢复标准LMDPs，并提供了路径积分表示和组合控制律，将先前工作扩展到更广泛的控制问题类别，且具有可证明的结构性质。

ABSTRACT

Recent work has led to the development of an elegant theory of Linearly Solvable Markov Decision Processes (LMDPs) and related Path-Integral Control Problems. Traditionally, MDPs have been formulated using stochastic policies and a control cost based on the KL divergence. In this paper, we extend this framework to a more general class of divergences: the Renyi divergences. These are a more general class of divergences parameterized by a continuous parameter that include the KL divergence as a special case. The resulting control problems can be interpreted as solving a risk-sensitive version of the LMDP problem. For a &gt; 0, we get risk-averse behavior (the degree of risk-aversion increases with a) and for a &lt; 0, we get risk-seeking behavior. We recover LMDPs in the limit as a -&gt; 0. This work generalizes the recently developed risk-sensitive path-integral control formalism which can be seen as the continuous-time limit of results obtained in this paper. To the best of our knowledge, this is a general theory of linearly solvable control and includes all previous work as a special case. We also present an alternative interpretation of these results as solving a 2-player (cooperative or competitive) Markov Game. From the linearity follow a number of nice properties including compositionality of control laws and a path-integral representation of the value function. We demonstrate the usefulness of the framework on control problems with noise where different values of lead to qualitatively different control behaviors.

研究动机与目标

• 将线性可解马尔可夫决策过程（LMDPs）的理论从KL散度推广至更广泛的散度类别。
• 开发一种风险敏感控制形式化方法，通过连续参数a实现对风险厌恶或风险寻求的调节。
• 在单一理论结构下统一现有的路径积分控制方法与LMDP框架。
• 建立价值函数的组合控制律与路径积分表示。
• 展示该框架在噪声控制问题中的实用性，且不同a值下可产生定性不同的行为。

提出的方法

• 通过用Rényi散度（由连续参数a参数化）替代KL散度，将LMDPs框架进行扩展。
• 将所得控制问题表述为基于Rényi散度的随机策略上的变分优化问题。
• 通过新散度下Fokker-Planck方程的线性性质，推导出价值函数的路径积分表示。
• 证明控制律具有组合性，即子问题的最优策略可线性组合。
• 将该框架解释为双人马尔可夫博弈，支持合作或竞争控制的解释。
• 该框架的连续时间极限恢复了现有的风险敏感路径积分控制形式化。

实验结果

研究问题

• RQ1 如何将LMDP框架从KL散度推广至其他散度，以实现风险敏感控制？
• RQ2 Rényi散度参数a在控制策略中如何影响风险厌恶或风险寻求行为？
• RQ3 在该推广下，路径积分表示与组合控制律是否仍可保持？
• RQ4 所提出的框架如何统一现有的LMDP与风险敏感控制方法？
• RQ5 在线性可解控制中使用Rényi散度具有哪些结构性与计算上的优势？

主要发现

• 通过用Rényi散度替代KL散度，该框架将LMDPs推广，实现了连续的风险敏感行为谱。
• 当a > 0时，该框架诱导出风险厌恶控制策略，且随着a增大，厌恶程度增强。
• 当a < 0时，该框架产生风险寻求行为，且|a|越大，寻求程度越高。
• 在a → 0的极限下，可恢复标准LMDP公式。
• 在广义散度下，价值函数的路径积分表示得以保持，从而支持高效计算。
• 控制律具有组合性，支持对复杂系统实现最优策略的模块化设计。