[论文解读] Learning First-Order Symbolic Representations for Planning from the Structure of the State Space

Blai Bonet, Héctor Geffner|arXiv (Cornell University)|Sep 12, 2019

AI-based Problem Solving and Planning被引用 14

一句话总结

该论文提出了一种方法，从状态空间图的结构拓扑中学习一阶符号规划表示——如动作模式、谓词和对象——而无需事先的符号知识。通过基于SAT的两级组合搜索，该方法成功地从扁平的、非符号的状态空间图中恢复出Gripper、Blocksworld和Hanoi等经典领域的正确且通用的一阶模型。

ABSTRACT

One of the main obstacles for developing flexible AI systems is the split between data-based learners and model-based solvers. Solvers such as classical planners are very flexible and can deal with a variety of problem instances and goals but require first-order symbolic models. Data-based learners, on the other hand, are robust but do not produce such representations. In this work we address this split by showing how the first-order symbolic representations that are used by planners can be learned from non-symbolic inputs that encode the structure of the state space. The representation learning problem is formulated as the problem of inferring planning instances over a common but unknown first-order domain that account for the structure of the observed state space. This means to infer a complete first-order representation (i.e. general action schemas, relational symbols, and objects) that explains the observed state space structures. The inference problem is cast as a two-level combinatorial search where the outer level searches for values of a small set of hyperparameters and the inner level, solved via SAT, searches for a first-order symbolic model. The framework is shown to produce general and correct first-order representations for standard problems like Gripper, Blocksworld, and Hanoi from input graphs that encode the flat state-space structure of a single instance.

研究动机与目标

• 弥合数据驱动的黑箱学习器与需要手工编写符号模型的基于模型规划器之间的差距。
• 实现从非符号性、结构性输入中自动合成一阶符号规划表示（动作模式、谓词、对象）的能力。
• 将表示学习问题表述为通过结构等价性推断一个能解释观测到的状态空间图的共同一阶领域。
• 开发一个可扩展的框架，仅通过最少的输入（即编码状态转移的带标签有向图）推断出通用且可重用的规划模型。
• 通过直接从状态空间拓扑中学习可解释的、组合的且可重用的表示，弥合符号主义与连接主义之间的鸿沟。

提出的方法

• 将表示学习问题建模为寻找一个一阶领域 D（包含动作模式、谓词和对象），使得每个在 D 上的实例 P_i 的状态空间图 G(P_i) 在结构上与观测到的输入图 G_i 匹配。
• 将推理过程转化为两级搜索：外层搜索超参数（如动作模式数量、谓词数量、参数数量），内层使用SAT求解器为固定超参数寻找有效的一阶模型。
• 将观测图 G_i 与生成图 G(P_i) 之间的结构等价性编码为一个SAT公式，包括对转移、前提条件和效果的约束。
• 采用带否定的提升STRIPS语言作为目标符号形式化语言，支持静态和动态谓词的表示。
• 应用SAT求解器寻找能解释所有输入图的最简模型（以最小领域大小为度量），从而促进泛化。
• 通过将输入图扩展为AND-OR结构并强制一致的动作参数化，将框架扩展以处理非确定性动作；通过加权最大SAT扩展处理噪声输入。

实验结果

研究问题

• RQ1 能否仅从状态空间图的结构拓扑中学习一阶符号规划表示，而无需符号输入？
• RQ2 是否可能推断出一个共同的一阶领域（包含对象、关系和动作模式），以解释多个实例的状态空间结构？
• RQ3 如何从超参数和SAT编码约束的有界搜索空间中发现最简单且最通用的一阶模型？
• RQ4 该方法在多大程度上能从扁平的、非符号的图中恢复出细微的符号结构（如静态与动态谓词、对象角色）？
• RQ5 该方法对不完整或有噪声的状态空间数据具有多强的鲁棒性？

主要发现

• 该方法成功地从单个实例的扁平状态空间图中学习到了标准规划领域（如Gripper、Blocksworld和Hanoi）的正确且通用的一阶模型。
• 所学习的表示包括正确的动作模式、关系符号和对象角色，尽管这些在输入中并未提供。
• 与命题编码尝试相比，该方法表现更优，后者往往产生无意义的、大小为对数级的变量集（如格雷码），原因是缺乏结构重用。
• 使用一阶表示可实现对训练实例之外的泛化，因为同一领域模型可被复用于不同的目标和问题实例。
• 通过将输入图扩展为AND-OR结构并强制一致的动作参数化，该框架能够处理非确定性动作。
• 通过将SAT问题重新表述为加权最大SAT任务，可容忍输入中的噪声（如虚假转移或标签），尽管计算成本有所增加。