[论文解读] Sub-Goal Trees -- a Framework for Goal-Directed Trajectory Prediction and Optimization

Tom Jurgenson, Edward Groshev+1 more|arXiv (Cornell University)|Jun 12, 2019

Reinforcement Learning in Robotics参考文献 34被引用 6

一句话总结

本文提出了子目标树（Sub-Goal Trees），一种基于层次树状结构的轨迹表示方法，将目标导向型轨迹分解为递归的子目标段。通过支持并行子目标预测以及针对全对最短路径问题的新型动态规划公式，该框架在监督模仿学习和强化学习中均实现了更快、更准确的轨迹预测与优化，其在准确性和推理速度上均优于标准的序列化方法。

ABSTRACT

Many AI problems, in robotics and other domains, are goal-directed, essentially seeking a trajectory leading to some goal state. In such problems, the way we choose to represent a trajectory underlies algorithms for trajectory prediction and optimization. Interestingly, most all prior work in imitation and reinforcement learning builds on a sequential trajectory representation -- calculating the next state in the trajectory given its predecessors. We propose a different perspective: a goal-conditioned trajectory can be represented by first selecting an intermediate state between start and goal, partitioning the trajectory into two. Then, recursively, predicting intermediate points on each sub-segment, until a complete trajectory is obtained. We call this representation a sub-goal tree, and building on it, we develop new methods for trajectory prediction, learning, and optimization. We show that in a supervised learning setting, sub-goal trees better account for trajectory variability, and can predict trajectories exponentially faster at test time by leveraging a concurrent computation. Then, for optimization, we derive a new dynamic programming equation for sub-goal trees, and use it to develop new planning and reinforcement learning algorithms. These algorithms, which are not based on the standard Bellman equation, naturally account for hierarchical sub-goal structure in a task. Empirical results on motion planning domains show that the sub-goal tree framework significantly improves both accuracy and prediction time.

研究动机与目标

• 为解决序列化轨迹表示在目标导向任务中的局限性，如误差累积和推理速度慢的问题。
• 通过分层子目标分解建模多模态变化，提升轨迹预测的准确性。
• 提出一种新的全对最短路径问题的动态规划公式，支持函数逼近与分层规划。
• 通过在轨迹段上并行计算子目标，实现在推理阶段的更快预测速度。
• 通过利用子目标结构，提升长时域、目标条件控制任务中的强化学习性能。

提出的方法

• 将轨迹表示为子目标树，递归地将从起点到目标的路径划分为中间子目标。
• 采用并行预测机制，使多个子目标可同时预测，从而减少推理阶段的序列步骤。
• 基于子目标树推导出全对最短路径问题的新动态规划方程，支持分层优化。
• 将子目标树框架应用于监督模仿学习和强化学习，使用函数逼近（如KNN）处理连续状态。
• 利用逆模型或Q值控制器从学习到的子目标树中提取策略，以实现轨迹跟踪。
• 使用离散化状态网格，在近似动态规划过程中搜索子目标候选。

实验结果

研究问题

• RQ1 分层的、基于树状结构的轨迹表示是否能提升目标导向型轨迹学习中的预测准确性和速度？
• RQ2 基于子目标树的动态规划方法与标准的贝尔曼方法相比，在求解全对最短路径问题时表现如何？
• RQ3 子目标树能否增强在函数逼近下的长时域规划性能？
• RQ4 并行子目标预测是否能在推理阶段实现指数级的速度提升？
• RQ5 子目标树是否能比序列化模型更好地捕捉多模态轨迹变化？

主要发现

• 在模仿学习中，子目标树通过建模多模态变化实现了更高的轨迹预测准确性，推理阶段仅需3步序列计算，而序列化模型需8步。
• 在2D粒子运动规划任务中，结合逆模型控制器的子目标树平均距离目标为0.13，显著优于拟合Q值基线方法的0.58。
• 使用Q值控制器的子目标树碰撞率为0.06，低于逆模型的0.25，表明在使用成本感知策略时具备更优的障碍物规避能力。
• 近似STDP算法在几乎所有测试案例中成功计算出有意义的子目标，实现了有效的长时域规划。
• 通过近似STDP学习到的价值函数显示出随子目标层级增加，可达区域逐步向目标扩展的渐进特性。
• 该框架是首个支持函数逼近的全对最短路径算法，使该方法可应用于连续状态控制问题。