[论文解读] Flexible Decomposition Algorithms for Weakly Coupled Markov Decision Problems

Ronald Parr|arXiv (Cornell University)|Jan 30, 2013

Reinforcement Learning in Robotics参考文献 17被引用 70

一句话总结

本文提出了两种灵活的分解算法，用于求解大规模弱耦合马尔可夫决策过程（MDPs）：一种部分解耦方法，通过缓存独立问题部分的策略并高效组合；另一种完全解耦方法，支持各部分之间的信息交互以实现注意力优先。两种方法均可计算出具有理论保证的近似或最优策略，并支持在结构相似问题间进行知识迁移。

ABSTRACT

This paper presents two new approaches to decomposing and solving large Markov decision problems (MDPs), a partial decoupling method and a complete decoupling method. In these approaches, a large, stochastic decision problem is divided into smaller pieces. The first approach builds a cache of policies for each part of the problem independently, and then combines the pieces in a separate, light-weight step. A second approach also divides the problem into smaller pieces, but information is communicated between the different problem pieces, allowing intelligent decisions to be made about which piece requires the most attention. Both approaches can be used to find optimal policies or approximately optimal policies with provable bounds. These algorithms also provide a framework for the efficient transfer of knowledge across problems that share similar structure.

研究动机与目标

• 通过将大规模马尔可夫决策过程（MDPs）分解为更小、可管理的组件，解决其计算不可行性问题。
• 开发灵活的分解技术，实现在保持解质量理论保证的前提下高效计算策略。
• 通过共享策略表示，实现在结构相似问题之间的知识迁移。
• 设计在计算效率与解质量之间取得平衡的算法，支持最优及近似最优策略。
• 构建一个支持各分解部分之间信息流动的框架，以引导计算资源集中于最关键的部分。

提出的方法

• 部分解耦方法独立计算并缓存MDP各组件的策略，随后在轻量级后处理步骤中进行组合。
• 完全解耦方法允许组件之间双向信息交换，实现对需进一步优化部分的动态优先排序。
• 两种方法均采用值函数分解与适应弱耦合结构的策略迭代原理。
• 算法为近似解引入了可证明的误差界，确保即使未计算出完全最优解，结果仍具可靠性。
• 关键创新在于利用组件间通信来指导计算资源的分配，从而提升效率。
• 通过复用缓存策略，该框架支持迁移学习，适用于结构相似的问题。

实验结果

研究问题

• RQ1 如何有效分解大规模弱耦合MDP，以降低计算复杂度，同时保持解的质量？
• RQ2 何种机制可实现在不牺牲最优性保证的前提下，高效且可扩展地计算分解后MDP的策略？
• RQ3 如何在组件之间共享信息，以引导计算资源投入并提升收敛性？
• RQ4 如何复用一个问题中缓存的策略，应用于结构相似的另一问题，以加速学习？
• RQ5 可为基于分解方法生成的近似策略质量建立何种理论边界？

主要发现

• 部分解耦方法通过预先计算并缓存各组件的策略，实现显著的计算节省，可在无需重新求解的情况下快速组合。
• 完全解耦方法通过支持组件间通信，提升了解的质量，使计算注意力集中于最关键子问题。
• 两种算法均对所得策略的次优性提供了可证明的边界，确保理论可靠性。
• 该框架支持在具有共享结构特征的问题之间实现有效的知识迁移，减少相似领域中的冗余计算。
• 通过利用弱耦合特性，算法在大规模MDP上表现出高效的可扩展性，使此前不可行的问题变为可解。
• 原始UAI-98会议论文中的实证结果表明，与单体MDP求解器相比，本方法在性能和可扩展性方面表现更优。