[论文解读] Learning General Policies from Small Examples Without Supervision

Guillem Francès, Blai Bonet+1 more|arXiv (Cornell University)|Jan 3, 2021

AI-based Problem Solving and Planning参考文献 34被引用 10

一句话总结

本文提出一种自监督方法，从少量未标记的规划示例中学习通用的非确定性规划策略，无需依赖样本计划或QNP抽象。该方法将问题形式化为加权最大满足性（Weighted Max-SAT）优化，联合学习一组最小特征集和一个分离表面，以区分良好转移与目标，从而在多个基准领域中实现正确策略，且其命题理论规模显著小于先前方法。

ABSTRACT

Generalized planning is concerned with the computation of general policies that solve multiple instances of a planning domain all at once. It has been recently shown that these policies can be computed in two steps: first, a suitable abstraction in the form of a qualitative numerical planning problem (QNP) is learned from sample plans, then the general policies are obtained from the learned QNP using a planner. In this work, we introduce an alternative approach for computing more expressive general policies which does not require sample plans or a QNP planner. The new formulation is very simple and can be cast in terms that are more standard in machine learning: a large but finite pool of features is defined from the predicates in the planning examples using a general grammar, and a small subset of features is sought for separating "good" from "bad" state transitions, and goals from non-goals. The problems of finding such a "separating surface" while labeling the transitions as "good" or "bad" are jointly addressed as a single combinatorial optimization problem expressed as a Weighted Max-SAT problem. The advantage of looking for the simplest policy in the given feature space that solves the given examples, possibly non-optimally, is that many domains have no general, compact policies that are optimal. The approach yields general policies for a number of benchmark domains.

研究动机与目标

• 开发一种从少量规划示例中学习通用策略的方法，无需依赖样本计划或QNP抽象。
• 通过识别一组最小且具有表达力的特征集来解决规划中的泛化挑战，以区分良好转移与目标。
• 在现有基于QNP和线性值函数的方法基础上，提升可扩展性与表达力。
• 通过完整且高效的组合优化框架，实现正确、非确定性策略的合成。

提出的方法

• 一种通用语法从规划示例中的领域谓词生成大量有限的特征池。
• 该方法将特征选择与转移标注的联合问题形式化为加权最大满足性（Weighted Max-SAT）问题，以寻找最小分离表面。
• 在最大满足性框架内，同时对良好与不良转移、目标与非目标进行标注。
• 解是特征空间中能解决给定示例的最简策略，从而促进泛化。
• 该方法采用对称性感知抽象与增量约束生成，以减小命题理论的规模。
• 最终策略从最大满足性解中提取，并在未见实例上进行验证。

实验结果

研究问题

• RQ1 能否从少量未标记的规划示例中学习通用策略，而无需依赖样本计划或QNP抽象？
• RQ2 能否自动发现一组最小且具有表达力的特征集，以区分良好转移与目标？
• RQ3 通过加权最大满足性联合优化特征选择与标注，能否生成可扩展且可泛化的策略？
• RQ4 与基于QNP和线性值函数的方法相比，该方法在可扩展性与表达力方面表现如何？

主要发现

• 该方法成功为10至30个积木的Blocksworld领域中的100个测试实例生成了正确的通用策略，仅使用一个训练实例。
• 与先前基于QNP的方法相比，命题理论规模减少了一个数量级，其子句数量为98.9K至281.5K，而早期工作为120万至330万。
• 通过精心选择训练实例，该方法可扩展至存在死胡同和非同构状态空间的领域，如Miconic和Gripper。
• 该方法在效率上优于先前的无监督方法，可在几分钟内解决Gripper等域，而此前需数小时。
• Blocksworld领域中学习到的策略是可证明正确的，仅由一条规则构成，包含四个基于四个特征（c>0, t′>0, bwp>0, 和 c↑）的效果。
• 该方法是完备的：若在特征池中存在通用策略，最大满足性求解器将找到它。