[论文解读] Learning Domain-Independent Heuristics for Grounded and Lifted Planning

Dillon Z. Chen, Sylvie Thiébaux+1 more|arXiv (Cornell University)|Dec 18, 2023

AI-based Problem Solving and Planning被引用 4

一句话总结

本文提出了一种用于规划任务的新颖图表示方法——基础图表示与提升图表示，使图神经网络（GNNs）能够在不依赖具体实例的情况下学习领域无关的启发式方法。所提出的 GOOSE 规划器利用这些表示，在未见过的任务上实现了比以往方法更大幅度的规模扩展，在计划质量与搜索效率方面优于 STRIPS-HGN 和 $h^{\text{FF}}$。

ABSTRACT

We present three novel graph representations of planning tasks suitable for learning domain-independent heuristics using Graph Neural Networks (GNNs) to guide search. In particular, to mitigate the issues caused by large grounded GNNs we present the first method for learning domain-independent heuristics with only the lifted representation of a planning task. We also provide a theoretical analysis of the expressiveness of our models, showing that some are more powerful than STRIPS-HGN, the only other existing model for learning domain-independent heuristics. Our experiments show that our heuristics generalise to much larger problems than those in the training set, vastly surpassing STRIPS-HGN heuristics.

研究动机与目标

• 为解决现有领域无关启发式学习模型（如 STRIPS-HGN）存在的理论表达能力不足与可扩展性问题。
• 为经典规划任务设计新型图表示方法——基础图与提升图，以支持有效的基于 GNN 的启发式学习。
• 直接从提升图表示中学习领域无关启发式方法，避免构建大规模基础图的需要。
• 理论上分析 MPNN 在所提图上的表达能力，与已知领域无关启发式方法的关系。
• 在实证上评估所学启发式方法在启发式搜索中的性能，衡量其泛化能力、计划质量与可扩展性。

提出的方法

• 提出三种新颖图表示方法：事实驱动表示（FDR）、基础 STRIPS（SLG）与提升 STRIPS（LLG），用于编码规划任务以供 GNN 使用。
• 设计一种基于 MPNN 的消息传递框架，作用于这些图，采用置换不变的聚合函数以确保泛化能力。
• 引入一种提升图表示方法，避免对问题进行实例化，从而在无需构建完整基础超图的前提下，实现对大规模问题的高效学习。
• 在 GNN 中使用均值与最大池化聚合器，以在信息保留与泛化能力之间取得平衡，并对超参数（如消息传递深度、聚合器选择）进行消融实验。
• 实现 GOOSE 规划器，一种基于 GNN 学习启发式方法的启发式搜索引擎，支持 GPU 加速的批量状态评估，实现高速状态评估。
• 通过批量处理状态评估来优化 GPU 利用率，在足够大的批量大小下，实现对提升图的单状态推理时间低于 1 毫秒。

Figure 5: (a) GOOSE learned heuristics ( $y$ -axis) vs. $h^{*}$ ( $x$ -axis). No $n$ -puzzle problem could have $h^{*}$ computed. (b) $h^{\operatorname*{FF}}$ ( $y$ -axis) vs. GOOSE ( $x$ -axis) on number of expanded nodes (left) and plan cost (right). Points on the bottom right triangles favour $h^

实验结果

研究问题

• RQ1 能否设计出适用于规划任务的图表示方法，使基于 GNN 的领域无关启发式学习成为可能，同时避免基础表示方法的可扩展性问题？
• RQ2 是否可能直接从提升规划表示中学习出有效的领域无关启发式方法，而无需进行实例化？
• RQ3 所提出的 GNN 模型在表达能力上与 STRIPS-HGN 及已知领域无关启发式方法相比如何？
• RQ4 所学启发式方法在泛化能力上能扩展到多大程度，超越训练集中的问题规模？
• RQ5 图表示方式与 GNN 超参数（如层数、聚合器类型）的选择如何影响启发式准确度与搜索性能？

主要发现

• 所提出的 GOOSE 规划器，使用 SLG 基础图表示（8 层、均值聚合器），在训练集之外的问题上实现了显著更大的规模泛化，其可扩展性与计划质量均优于 STRIPS-HGN 和 $h^{\text{FF}}$。
• 基于 SLG 图表示的领域无关 GOOSE 在 VisitAll、VisitSome 以及超过一半的 Blocksworld 实例上优于 $h^{\text{FF}}$，展开的节点更少，且生成的计划质量更高。
• 提升图表示（LLG）实现了无需实例化的领域无关启发式学习，使原本对基础 GNN 难以处理的大规模问题成为可解问题。
• 在相同图表示上进行领域相关训练的 GOOSE，在多个领域中覆盖范围超过 $h^{\text{FF}}$，并生成了更低代价的计划。
• 对于领域无关训练，最优消息传递层数为 8–12 层；对于领域相关训练，为 4–8 层；超过此范围后，性能因训练不稳定性与过拟合而下降。
• GPU 加速的评估将单状态启发式推理时间降低至：提升图 0.07–0.7ms，基础图 0.1–5ms，且在批量大小 >32（提升图）和 >4（基础图）时达到最佳性能。