[论文解读] Learning Generalized Policies Without Supervision Using GNNs

Simon Ståhlberg, Blai Bonet+1 more|arXiv (Cornell University)|May 12, 2022

Topic Modeling被引用 9

一句话总结

该论文提出了一种自监督图神经网络（GNN）方法，用于在经典规划领域中学习广义规划策略，而无需依赖最优值函数或带标注的示范。通过将状态扩展为包含传递闭包和角色组合等派生原子，该方法在Logistics和Spanner*等领域的更大测试实例上实现了近乎完美的泛化（最高达100%），即使GNN层数极少，也克服了标准基于值函数的强化学习在NP难规划场景下的局限性。

ABSTRACT

We consider the problem of learning generalized policies for classical planning domains using graph neural networks from small instances represented in lifted STRIPS. The problem has been considered before but the proposed neural architectures are complex and the results are often mixed. In this work, we use a simple and general GNN architecture and aim at obtaining crisp experimental results and a deeper understanding: either the policy greedy in the learned value function achieves close to 100% generalization over instances larger than those used in training, or the failure must be understood, and possibly fixed, logically. For this, we exploit the relation established between the expressive power of GNNs and the $C_{2}$ fragment of first-order logic (namely, FOL with 2 variables and counting quantifiers). We find for example that domains with general policies that require more expressive features can be solved with GNNs once the states are extended with suitable "derived atoms" encoding role compositions and transitive closures that do not fit into $C_{2}$. The work follows the GNN approach for learning optimal general policies in a supervised fashion (Stahlberg, Bonet, Geffner, 2022); but the learned policies are no longer required to be optimal (which expands the scope, as many planning domains do not have general optimal policies) and are learned without supervision. Interestingly, value-based reinforcement learning methods that aim to produce optimal policies, do not always yield policies that generalize, as the goals of optimality and generality are in conflict in domains where optimal planning is NP-hard.

研究动机与目标

• 开发一种基于自监督GNN的方法，用于在经典规划领域中学习广义策略，而无需依赖最优或有监督的值函数。
• 解决标准基于值函数的强化学习在最优规划为NP难的领域中泛化性能不足的问题。
• 研究受限于C2逻辑表达能力的GNN如何被扩展以捕捉更复杂的规划特征。
• 探索使用派生原子（如传递闭包、角色组合）以弥合GNN表达能力与某些规划领域所需非C2特征之间的差距。
• 证明非最优、自监督的GNN策略在比有监督或标准强化学习方法更大的实例上仍能有效泛化。

提出的方法

• 使用一种简单且通用的GNN架构，从以提升STRIPS格式表示的小型训练实例中学习值函数V(s)。
• 采用一种新颖的L1损失函数，而非基于值函数强化学习中常用的L0损失，从而实现在无真实最优值的情况下进行自监督学习。
• 通过添加传递闭包和角色组合等派生原子来扩展状态表示，以编码超越C2逻辑表达能力的特征。
• 将从学习到的值函数中导出的贪婪策略应用于比训练实例更大的测试实例，以评估泛化能力。
• 减少GNN深度（例如从30层减少到2层），以减轻过拟合并提升泛化性能，尤其是在使用派生原子时。
• 通过在未见且更大的实例上使用覆盖率指标，在多个领域（如Logistics、Spanner*、Gridworld）中验证性能。

实验结果

研究问题

• RQ1 自监督GNN方法能否在不依赖最优值函数或监督的情况下，学习到可泛化到更大实例的广义策略？
• RQ2 为何标准基于值函数的强化学习方法在最优规划为NP难的领域中，即使学习到了最优值函数，仍无法实现泛化？
• RQ3 受限于C2逻辑的GNN在多大程度上能够捕捉复杂规划领域中广义策略所需的特征？
• RQ4 派生原子（如传递闭包、角色组合）在将GNN能力扩展至超越C2表达能力、实现完全泛化的方面有多有效？
• RQ5 减少GNN深度是否能提升泛化性能，尤其是在与派生原子结合使用时？

主要发现

• 在Logistics领域，添加派生原子使贪婪策略的覆盖率从0%提升至14%，在加入环路避免机制后进一步从60%提升至100%。
• 在最多包含50个位置的修改版Spanner*领域中，未使用派生原子时，GNN层数减少至L=10时覆盖率仅为33%，但加入派生原子后提升至86%。
• 进一步将GNN层数从10层减少至5层，使用派生原子时覆盖率提升至86%；当仅保留2层时，覆盖率达到了100%。
• 层数减少带来的性能提升归因于过拟合的减少，尤其是在与派生原子结合使用时更为显著。
• 通过结合派生原子与极简GNN深度，该方法在多个领域（如Logistics、Spanner*）实现了100%的泛化。
• L1损失函数实现了有效的自监督学习，使得即使在最优策略不存在的情况下也能实现泛化，在NP难领域中表现优于标准基于值函数的强化学习。