[论文解读] A Constrained Randomized Shortest-Paths Framework for Optimal Exploration

Bertrand Lebichot, Guillaume Guex+2 more|arXiv (Cornell University)|Jul 12, 2018

Traffic control and management参考文献 55被引用 5

一句话总结

本文提出了一种受限随机最短路径（RSP）框架，通过在转移概率上引入等式约束并结合嫡正则化，最优地平衡了马尔可夫决策过程中的探索与利用。该框架提出了一种基于软贝尔曼-福特更新和拉格朗日对偶性的新型迭代算法，证明了其收敛性，并在特定条件下展示了与路径积分控制和KL控制方法的等价性。

ABSTRACT

The present work extends the randomized shortest-paths framework (RSP), interpolating between shortest-path and random-walk routing in a network, in three directions. First, it shows how to deal with equality constraints on a subset of transition probabilities and develops a generic algorithm for solving this constrained RSP problem using Lagrangian duality. Second, it derives a surprisingly simple iterative procedure to compute the optimal, randomized, routing policy generalizing the previously developed "soft" Bellman-Ford algorithm. The resulting algorithm allows balancing exploitation and exploration in an optimal way by interpolating between a pure random behavior and the deterministic, optimal, policy (least-cost paths) while satisfying the constraints. Finally, the two algorithms are applied to Markov decision problems by considering the process as a constrained RSP on a bipartite state-action graph. In this context, the derived "soft" value iteration algorithm appears to be closely related to dynamic policy programming as well as Kullback-Leibler and path integral control, and similar to a recently introduced reinforcement learning exploration strategy. This shows that this strategy is optimal in the RSP sense - it minimizes expected path cost subject to relative entropy constraint. Simulation results on illustrative examples show that the model behaves as expected.

研究动机与目标

• 将随机最短路径（RSP）框架扩展至处理从部分节点出发的转移概率等式约束。
• 基于拉格朗日对偶性和基于路径的优化，开发一种求解受限RSP问题的通用算法。
• 推导出一种高效的迭代过程——类似于软贝尔曼-福特算法——以计算最优随机策略。
• 通过双分图状态-动作图表示法，将该框架应用于马尔可夫决策问题。
• 建立所提方法与现有控制和强化学习范式（如路径积分控制和动态策略编程）之间的理论联系。

提出的方法

• 将受限RSP问题表述为在相对熵（KL散度）约束下最小化期望路径成本，同时对部分节点的转移概率施加等式约束。
• 利用拉格朗日对偶性推导出对偶优化问题，从而实现最优策略的高效计算。
• 提出一种类似软贝尔曼-福特的迭代算法，以计算最优自由能值，其更新基于参考转移概率和边成本。
• 使用温度参数θ在确定性最短路径（θ → ∞）与均匀随机游走（θ → 0）之间进行插值。
• 将马尔可夫决策过程表示为双分图状态-动作图，从而将RSP框架应用于序列决策问题。
• 利用不动点理论证明了迭代算法的收敛性，表明由于图的次随机结构和强连通性，雅可比矩阵的谱半径严格小于1。

实验结果

研究问题

• RQ1 如何将随机最短路径框架扩展以纳入从部分节点出发的转移概率等式约束？
• RQ2 在满足给定转移概率约束的前提下，最小化期望路径成本的最优策略是什么？
• RQ3 所提出的迭代算法在收敛性和性能方面与标准动态规划或值迭代方法相比如何？
• RQ4 所提受限RSP框架与现有控制方法（如路径积分控制和KL控制）之间的理论关系是什么？
• RQ5 能否通过将马尔可夫决策问题建模为状态-动作图上的受限RSP，有效应用该框架？

主要发现

• 所提出的受限RSP框架通过温度参数在确定性最短路径和随机游走之间插值，实现了对利用与探索的最优平衡。
• 基于软贝尔曼-福特更新的迭代算法由于雅可比矩阵的谱半径严格小于1，收敛至唯一解。
• 该框架在数学上等价于路径积分控制和KL控制方法，建立了RSP与现代强化学习控制范式之间的正式联系。
• 解在自由能的平移下保持不变，通过在目标节点设置φ*n = 0来解决该问题，从而确保了解的唯一性。
• 该方法通过在转移概率上引入等式约束，推广了标准RSP，实现了对网络特定部分的可控随机化。
• 仿真结果证实，模型行为符合预期，其行为在纯利用与纯探索之间平滑插值。