[论文解读] Learning for Adaptive Real-time Search

Vadim Bulitko|ArXiv.org|Jul 6, 2004

Artificial Intelligence in Games参考文献 19被引用 23

一句话总结

本文提出 γ-Trap，一种新型的实时学习搜索算法，通过将自适应前瞻规划与启发函数学习紧密集成，实现了显著提升。通过动态调整前瞻深度并学习适配前瞻策略的启发函数，γ-Trap 在滑动拼图实验中相较 LRTA*、加权 LRTA*、有界 LRTA* 和 FALCONS，实现了 5 至 30 倍的收敛速度提升，内存使用减少，且解决方案稳定性显著增强。

ABSTRACT

Real-time heuristic search is a popular model of acting and learning in intelligent autonomous agents. Learning real-time search agents improve their performance over time by acquiring and refining a value function guiding the application of their actions. As computing the perfect value function is typically intractable, a heuristic approximation is acquired instead. Most studies of learning in real-time search (and reinforcement learning) assume that a simple value-function-greedy policy is used to select actions. This is in contrast to practice, where high-performance is usually attained by interleaving planning and acting via a lookahead search of a non-trivial depth. In this paper, we take a step toward bridging this gap and propose a novel algorithm that (i) learns a heuristic function to be used specifically with a lookahead-based policy, (ii) selects the lookahead depth adaptively in each state, (iii) gives the user control over the trade-off between exploration and exploitation. We extensively evaluate the algorithm in the sliding tile puzzle testbed comparing it to the classical LRTA* and the more recent weighted LRTA*, bounded LRTA*, and FALCONS. Improvements of 5 to 30 folds in convergence speed are observed.

研究动机与目标

• 弥合理论性实时搜索与实际高性能代理之间使用深度前瞻规划的差距。
• 提升学习型实时搜索代理的收敛速度、内存效率与解决方案稳定性。
• 在学习过程中实现用户可控的探索与利用权衡。
• 将启发函数学习与基于前瞻的规划相结合，构建更合理、更自适应的决策过程。
• 开发一种稳定高效的新算法，其性能与收敛行为均优于现有 LRTS 方法。

提出的方法

• 提出 γ-Trap 算法，该算法学习一种专门针对基于前瞻的决策策略优化的启发函数。
• 采用自适应前瞻深度选择机制，根据置信度阈值动态调整每个状态的前瞻深度。
• 使用回溯机制以优化启发函数估计，提升收敛稳定性。
• 引入参数 γ 以控制探索与利用的权衡，允许用户自定义速度与解决方案质量之间的平衡。
• 应用改进的值更新规则，将前瞻结果整合以优化启发函数估计，确保与规划模块的一致性。
• 维护启发函数值的上界，以确保收敛与稳定性，类似于有界 LRTA*，但性能更优。

实验结果

研究问题

• RQ1 通过将前瞻规划与启发函数学习相结合，学习型实时搜索代理是否能实现显著更快的收敛速度？
• RQ2 相较于固定深度前瞻，自适应前瞻深度选择是否能提升收敛速度与稳定性？
• RQ3 在学习型实时搜索代理中，探索与利用的权衡是否能被有效控制？
• RQ4 学习与规划的整合如何影响实时搜索中的解决方案质量与内存使用？
• RQ5 学习算法能否同时实现快速收敛与稳定性能，避免现有方法中常见的振荡现象？

主要发现

• 在滑动拼图实验中，γ-Trap 相较于 LRTA*、加权 LRTA*、有界 LRTA* 和 FALCONS，收敛速度提升了 5 至 30 倍。
• 通过引入回溯机制，γ-Trap 将 SOD（解决方案振荡）指标降低近 5 倍，IAE（积分绝对误差）降低超过 14 倍，优于以往方法。
• 回溯机制是 γ-Trap 实现卓越学习稳定性和收敛速度的主要原因；而无回溯变体（gTrap）的性能与加权 LRTA* 相当。
• γ-Trap 显著降低了内存需求，相较于 LRTA* 和有界 LRTA*，同时保持了收敛性保证。
• 该算法表现出稳定的收敛行为，各次试验中解决方案成本波动极小，其稳定性指标甚至优于有界 LRTA* 和 FALCONS。
• 首次试验性能略逊于加权 LRTA*，但这一权衡在后续多次试验中因收敛速度与稳定性的巨大提升而得到合理化。