[论文解读] Dyna-Style Planning with Linear Function Approximation and Prioritized Sweeping

Richard S. Sutton, Csaba Szepesvári+2 more|arXiv (Cornell University)|Jun 13, 2012

Reinforcement Learning in Robotics参考文献 25被引用 107

一句话总结

该论文提出了一种基于模型的强化学习算法，将Dyna风格规划扩展至线性函数逼近，并引入优先级传播机制，在温和条件下证明了其收敛至最小二乘时序差分（LSTD）解。该方法通过从世界模型生成合成经验，并将价值估计回溯至相关特征而非状态，实现了在大规模状态空间中的高效在线学习。

ABSTRACT

We consider the problem of efficiently learning optimal control policies and value functions over large state spaces in an online setting in which estimates must be available after each interaction with the world. This paper develops an explicitly model-based approach extending the Dyna architecture to linear function approximation. Dynastyle planning proceeds by generating imaginary experience from the world model and then applying model-free reinforcement learning algorithms to the imagined state transitions. Our main results are to prove that linear Dyna-style planning converges to a unique solution independent of the generating distribution, under natural conditions. In the policy evaluation setting, we prove that the limit point is the least-squares (LSTD) solution. An implication of our results is that prioritized-sweeping can be soundly extended to the linear approximation case, backing up to preceding features rather than to preceding states. We introduce two versions of prioritized sweeping with linear Dyna and briefly illustrate their performance empirically on the Mountain Car and Boyan Chain problems.

研究动机与目标

• 通过基于模型的规划，实现在大规模状态空间中高效在线学习最优策略与价值函数。
• 将Dyna架构扩展至处理线性函数逼近，实现状态间的泛化能力。
• 将优先级传播整合至线性逼近框架中，提升样本效率。
• 在自然条件下证明算法收敛至唯一解，即LSTD解。
• 在Mountain Car和Boyan Chain等经典控制问题上展示其经验性能。

提出的方法

• 使用世界模型生成合成状态转移（想象中的经验）用于规划。
• 对想象中的转移应用无模型时序差分学习，结合线性函数逼近。
• 采用优先级传播机制，根据其对价值估计的潜在影响选择性地更新特征。
• 将更新回溯至前驱特征而非前驱状态，从而在函数逼近中实现高效传播。
• 提出两种基于线性Dyna的优先级传播变体：一种使用特征级优先级队列，另一种使用状态级优先化并更新特征。
• 在特征表示和模型精度的温和假设下，证明了算法收敛至最小二乘时序差分（LSTD）解。

实验结果

研究问题

• RQ1 Dyna风格规划能否在保持收敛性保证的前提下扩展至线性函数逼近？
• RQ2 在基于线性逼近的设定中，当优先级传播应用于特征而非状态时，其有效性是否依然成立？
• RQ3 在标准条件下，该算法能否收敛至LSTD解？
• RQ4 线性Dyna结合优先级传播的性能与基线方法相比在大规模控制问题上表现如何？
• RQ5 特征级优先化与状态级优先化对学习效率的影响是什么？

主要发现

• 所提出的线性Dyna风格规划算法在温和条件下，其收敛结果与数据生成分布无关，达到唯一不动点。
• 在策略评估设定中，该算法的极限点被严格证明为最小二乘时序差分（LSTD）解。
• 通过将更新回溯至前驱特征而非状态，可稳健地将优先级传播扩展至线性逼近情形。
• 在Mountain Car和Boyan Chain问题上的实验结果表明，与标准Dyna及非优先级化基线相比，该方法在样本效率和收敛速度方面均有提升。
• 所提出的两种基于线性Dyna的优先级传播变体表现出具有竞争力的性能，其中特征级优先化在高维特征空间中展现出更优的可扩展性。
• 理论分析证实，即使在函数逼近存在的情况下，该算法仍能保持稳定性和收敛性，这是对先前基于模型方法的重要改进。