[论文解读] Bounded Approximate Symbolic Dynamic Programming for Hybrid MDPs

Luis Gustavo Rocha Vianna, Scott Sanner+1 more|arXiv (Cornell University)|Sep 26, 2013

Reinforcement Learning in Robotics参考文献 17被引用 8

一句话总结

本文提出了一种用于连续状态与动作的混合马尔可夫决策过程（MDPs）的有界近似符号动态规划（SDP）方法，通过约束双线性鞍点问题实现XADD压缩。通过将该问题重新表述为可通过列生成法求解的双层线性规划，该方法实现了高效且近似误差有界压缩，相较于精确SDP实现了数量级的加速，同时近似误差极小。

ABSTRACT

Recent advances in symbolic dynamic programming (SDP) combined with the extended algebraic decision diagram (XADD) data structure have provided exact solutions for mixed discrete and continuous (hybrid) MDPs with piecewise linear dynamics and continuous actions. Since XADD-based exact solutions may grow intractably large for many problems, we propose a bounded error compression technique for XADDs that involves the solution of a constrained bilinear saddle point problem. Fortuitously, we show that given the special structure of this problem, it can be expressed as a bilevel linear programming problem and solved to optimality in finite time via constraint generation, despite having an infinite set of constraints. This solution permits the use of efficient linear program solvers for XADD compression and enables a novel class of bounded approximate SDP algorithms for hybrid MDPs that empirically offers order-of-magnitude speedups over the exact solution in exchange for a small approximation error.

研究动机与目标

• 为解决在连续状态与动作的混合MDPs中，由于扩展代数决策图（XADDs）的指数增长，导致精确符号动态规划（SDP）不可行的问题。
• 开发一种XADD的有界误差压缩技术，在降低计算复杂度的同时保持解的质量。
• 通过将压缩问题转化为具有有限时间收敛性的可解双层线性规划，实现混合MDPs的高效近似SDP。
• 在保证有界近似误差的前提下，实现相较于精确SDP的显著加速。

提出的方法

• 将XADD压缩形式化为一个受约束的双线性鞍点问题，以在有界误差约束下最小化近似误差。
• 利用鞍点问题的特殊结构，将其重新表述为具有无限多约束的双层线性规划问题。
• 通过列生成法求解双层问题，迭代识别并添加违反约束，直至达到最优。
• 利用标准线性规划求解器实现高效计算，支持XADD表示的可扩展压缩。
• 将压缩后的XADD集成到一种新型有界近似SDP算法中，用于混合MDPs。
• 采用有限时间算法框架，在存在无限约束集的情况下，保证在有界误差下的最优压缩。

实验结果

研究问题

• RQ1 是否能够高效压缩基于XADD的符号动态规划，同时在混合MDPs中保持有界的近似误差？
• RQ2 尽管具有无限多个约束，XADD压缩所引出的双线性鞍点问题是否可在有限时间内求解？
• RQ3 所提出的压缩方法是否能实现相较于精确SDP的显著加速，同时仅带来可量化的小幅近似误差增加？
• RQ4 压缩问题的双层线性规划重构是否允许使用标准求解器实现高效且最优的求解？

主要发现

• XADD压缩问题的双层线性规划重构，即使在具有无限约束集的情况下，也能通过列生成法在有限时间内实现最优求解。
• 所提出的方法在基准混合MDPs问题中，相较于精确符号动态规划实现了数量级的加速。
• 近似误差保持有界且可量化控制，实证结果表明解质量仅出现极小程度的退化。
• 使用标准线性规划求解器支持高效实现，并可在复杂混合MDPs上实现可扩展性。