[论文解读] Learning Portable Representations for High-Level Planning

Steven James, Benjamin Rosman+1 more|arXiv (Cornell University)|May 28, 2019

Machine Learning and Algorithms参考文献 28被引用 9

一句话总结

该论文提出了一种框架，用于从智能体经验中学习可移植的、与任务无关的符号表示，其状态空间以自我中心视角定义，从而实现在不同环境间的迁移。通过将这些可移植符号与特定任务的信息相结合，该方法实现了可证明正确的规划，且样本复杂度显著降低——在Rod-and-Block领域中样本数从约600降至约330，在Treasure Game中从约1600降至约700，且在多个任务后表现持续改善。

ABSTRACT

We present a framework for autonomously learning a portable representation that describes a collection of low-level continuous environments. We show that these abstract representations can be learned in a task-independent egocentric space specific to the agent that, when grounded with problem-specific information, are provably sufficient for planning. We demonstrate transfer in two different domains, where an agent learns a portable, task-independent symbolic vocabulary, as well as rules expressed in that vocabulary, and then learns to instantiate those rules on a per-task basis. This reduces the number of samples required to learn a representation of a new task.

研究动机与目标

• 解决为每个新环境从零开始学习特定任务的符号表示效率低下的问题。
• 实现在具有不同动力学特性和布局结构的不同任务与环境之间迁移符号知识。
• 开发一种框架，能够从动作执行数据中自主学习可移植的符号词汇。
• 证明将可移植符号与特定任务信息结合，可产生足以支持正确规划的表示。
• 通过复用先前学习到的抽象表示，减少学习新任务动力学特性所需的样本数量。

提出的方法

• 该框架在自我中心状态空间中学习符号抽象，该空间相对于智能体的感知运动视角定义，且对环境布局变化保持不变。
• 通过对高维自我中心观测进行聚类和密度估计，识别出可移植的符号状态，如“靠近门”或“在梯子上”。
• 独立学习特定任务的信息（如空间分区或环境约束），并用于将可移植符号嵌入到特定任务的规划规则中。
• 将嵌入后的规则表示为PDDL中的提升动作算子，参数按任务实例化，从而实现在抽象状态空间中的规划。
• 该方法证明了可移植符号与特定任务信息的结合，可产生在理论上足以支持规划的表示。
• 该方法在两个领域中进行了评估：Rod-and-Block和Treasure Game，采用基于模型的规划，并使用学习到的抽象模型。

实验结果

研究问题

• RQ1 是否可以在与任务无关的自我中心空间中学习到符号表示，使其在具有不同布局和动力学特性的环境中具有泛化能力？
• RQ2 将可移植的符号抽象与特定任务信息结合，是否能产生足以支持正确规划的表示？
• RQ3 与从零开始学习相比，该框架是否能减少学习新任务动力学特性所需的样本数量？
• RQ4 当使用可移植表示时，样本复杂度如何随所遇到任务数量的增加而变化？
• RQ5 在具有不同环境配置的多样化任务中，同一套符号词汇和规则在多大程度上可以被复用？

主要发现

• 该框架能够从未标注的自我中心观测中成功学习到可移植的符号表示，无需特定任务的监督，从而实现在不同布局环境中的复用。
• 在Rod-and-Block领域中，学习特定任务模型所需的样本数在完成两个任务后，从约600降至约330，表明样本增长呈次线性。
• 在Treasure Game中，每关的样本需求在经历七关后，从约1600降至约700，显示出随着经验积累的持续减少。
• 该方法实现了显著的样本效率提升：在1000个任务的设置中，使用10个抽象模型的基于模型的规划，可替代原本需要1000个独立的无模型策略。
• 该框架证明了将可移植符号与特定任务信息结合，可产生在理论上足以支持规划的表示，确保了正确性与完备性。
• 该方法实现了在具有不同动力学特性和空间配置的任务之间进行迁移学习，显著降低了从零开始重新学习的需求。