[论文解读] Dyna-H: a heuristic planning reinforcement learning algorithm applied to role-playing-game strategy decision systems

Matilde Santos, José Antonio Martín H.+2 more|arXiv (Cornell University)|Jan 20, 2011

Reinforcement Learning in Robotics参考文献 22被引用 7

一句话总结

本文提出 Dyna-ℋ，一种将启发式规划整合到 Dyna 架构中的无模型强化学习算法，以提升角色扮演游戏中的路径查找性能。通过从最差轨迹中采样——受噩梦般心理模拟的启发——该方法加速了学习过程，并在路径长度上相比 Q-Learning 和 Dyna-Q 实现了超过 90% 的减少，同时在速度和最优性方面均表现更优。

ABSTRACT

In a Role-Playing Game, finding optimal trajectories is one of the most important tasks. In fact, the strategy decision system becomes a key component of a game engine. Determining the way in which decisions are taken (online, batch or simulated) and the consumed resources in decision making (e.g. execution time, memory) will influence, in mayor degree, the game performance. When classical search algorithms such as A* can be used, they are the very first option. Nevertheless, such methods rely on precise and complete models of the search space, and there are many interesting scenarios where their application is not possible. Then, model free methods for sequential decision making under uncertainty are the best choice. In this paper, we propose a heuristic planning strategy to incorporate the ability of heuristic-search in path-finding into a Dyna agent. The proposed Dyna-H algorithm, as A* does, selects branches more likely to produce outcomes than other branches. Besides, it has the advantages of being a model-free online reinforcement learning algorithm. The proposal was evaluated against the one-step Q-Learning and Dyna-Q algorithms obtaining excellent experimental results: Dyna-H significantly overcomes both methods in all experiments. We suggest also, a functional analogy between the proposed sampling from worst trajectories heuristic and the role of dreams (e.g. nightmares) in human behavior.

研究动机与目标

• 解决经典搜索算法（如 A*）在缺乏精确模型的大规模或不完整环境中的局限性。
• 提升无模型强化学习在不确定性环境下的顺序决策任务中的样本效率与收敛速度。
• 将启发式引导的规划整合到 Dyna 框架中，以在无需完整环境模型的情况下增强学习性能。
• 在受控的角色扮演游戏路径查找场景中，将所提方法与标准强化学习基线进行对比，以证明其优越性能。
• 探索从最差轨迹中采样与人类认知过程（如梦境或基于噩梦的学习）之间的功能类比。

提出的方法

• 将 Dyna 架构改进，加入一个启发式规划模块，利用可接纳的启发函数（类似 A*）引导探索。
• 使用启发式函数优先规划那些可能导致次优结果的分支，聚焦于最坏情况的轨迹。
• 将此启发式引导的规划整合进 Dyna 代理的学习循环中，支持基于模拟经验的在线、增量式更新。
• 在网格世界角色扮演游戏环境中应用该算法，使智能体学习从起始状态导航至目标状态，同时避开障碍物。
• 调节规划步数（N）以控制计算成本与策略最优性之间的权衡。
• 采用 Q-Learning 更新规则进行价值函数学习，经验来源于真实交互与启发式引导的模拟回溯。

实验结果

研究问题

• RQ1 启发式引导的规划能否提升无模型强化学习在路径查找任务中的样本效率与收敛速度？
• RQ2 与最优或策略内轨迹相比，从最差轨迹中采样是否能加速向最优策略的收敛？
• RQ3 规划步数（N）如何影响 Dyna-ℋ 框架中学习速度与策略质量之间的权衡？
• RQ4 在模拟的角色扮演游戏环境中，Dyna-ℋ 是否能在路径长度与学习速率方面优于标准的 Q-Learning 和 Dyna-Q？
• RQ5 所提出的启发式采样与人类认知过程（如梦境或基于噩梦的学习）之间是否存在功能类比？

主要发现

• Dyna-ℋ 在学习速度上显著优于 Q-Learning 和 Dyna-Q，即使在极少规划步数下，也仅需不到 7 个回合即可收敛。
• 与基线方法相比，该算法将平均路径长度减少了 90% 以上，实现了接近最优的路径。
• 当 N=1 时，算法收敛迅速但达到次优策略（每回合约 370 步），而更高的 N 值（5、10、25）则逐步生成更优的策略。
• 尽管采样自最差轨迹，Dyna-ℋ 的收敛速度仍快于策略内采样，表明探索低质量路径可加速学习过程。
• N=5、10 和 25 的学习曲线在形状与收敛速率上几乎完全一致，仅在最终策略的最优性上存在差异。
• 规划步数（N）为计算成本与策略质量之间的权衡提供了直接的控制参数，支持高效的资源权衡。