[论文解读] DeepSym: Deep Symbol Generation and Rule Learning from Unsupervised Continuous Robot Interaction for Planning

Alper Ahmetoğlu, M. Yunus Seker+3 more|arXiv (Cornell University)|Dec 4, 2020

Multimodal Machine Learning Applications参考文献 26被引用 5

一句话总结

DeepSym 提出了一种深度学习框架，能够从原始的无监督机器人交互数据中自主生成离散的、以动作为基础的符号和概率规则。通过使用带有二值瓶颈层的预测自编码器来提取物体属性和关系效应的潜在表征，并训练决策树将这些表征提炼为符合 PPDDL 标准的概率规则，该系统在机器人和非机器人领域均实现了有效的符号规划，成功完成了多步操作和拼图求解任务。

ABSTRACT

We propose a novel general method that finds action-grounded, discrete object and effect categories and builds probabilistic rules over them for non-trivial action planning. Our robot interacts with objects using an initial action repertoire that is assumed to be acquired earlier and observes the effects it can create in the environment. To form action-grounded object, effect, and relational categories, we employ a binary bottleneck layer in a predictive, deep encoder-decoder network that takes the image of the scene and the action applied as input, and generates the resulting effects in the scene in pixel coordinates. After learning, the binary latent vector represents action-driven object categories based on the interaction experience of the robot. To distill the knowledge represented by the neural network into rules useful for symbolic reasoning, a decision tree is trained to reproduce its decoder function. Probabilistic rules are extracted from the decision paths of the tree and are represented in the Probabilistic Planning Domain Definition Language (PPDDL), allowing off-the-shelf planners to operate on the knowledge extracted from the sensorimotor experience of the robot. The deployment of the proposed approach for a simulated robotic manipulator enabled the discovery of discrete representations of object properties such as `rollable' and `insertable'. In turn, the use of these representations as symbols allowed the generation of effective plans for achieving goals, such as building towers of the desired height, demonstrating the effectiveness of the approach for multi-step object manipulation. Finally, we demonstrate that the system is not only restricted to the robotics domain by assessing its applicability to the MNIST 8-puzzle domain in which learned symbols allow for the generation of plans that move the empty tile into any given position.

研究动机与目标

• 解决机器人领域中低层次传感器运动数据与高层次符号推理之间的表征鸿沟问题。
• 实现在无监督、自主条件下，基于动作-效应经验的符号形成，无需人工设计符号。
• 从神经表征中提取可解释的概率规则，以供现成的符号规划器使用。
• 证明该方法在机器人领域之外的泛化能力，包括非机器人领域如八数码谜题。
• 通过复用先前学习到的符号作为高层抽象的输入，支持渐进式抽象学习。

提出的方法

• 一种预测性深度编码器-解码器神经网络以图像观测和施加的动作为输入，预测像素坐标中的场景变化结果。
• 编码器中的二值瓶颈层生成一个离散的潜在向量，编码了以动作为基础的物体类别和效应类别。
• 通过重建误差与瓶颈大小之间的权衡来优化潜在空间，实现自动符号发现。
• 训练决策树以重现解码器的功能，将潜在代码映射到预测的效应。
• 从决策树路径中提取概率规则，并将其转换为概率规划领域定义语言（PPDDL）操作符。
• 在模拟的机器人操作器设置中评估系统，并扩展至 MNIST 八数码谜题领域，以测试其泛化能力。

实验结果

研究问题

• RQ1 深度神经网络能否从原始的无监督机器人交互数据中自主发现离散且可解释的符号？
• RQ2 如何在无需人工标注的情况下学习以动作为基础的物体和关系属性（如“可滚动”或“可插入”）？
• RQ3 能否有效将训练好的自编码器中嵌入的知识提炼为符号规划器可使用的概率规则？
• RQ4 所提出的方法是否能在机器人领域之外实现泛化，例如在经典的规划问题如八数码谜题中？
• RQ5 该系统能否通过复用学习到的符号作为高层推理的输入，支持渐进式抽象？

主要发现

• 该系统成功从机器人交互数据中发现可解释的符号，如“可滚动”、“可插入”和“大于”，这些符号语义明确且易于人类理解。
• 在模拟的机器人环境中，系统利用现成的概率规划器成功生成了多步任务的有效计划，例如使用指定高度构建塔状结构。
• 在桌面环境中，系统对球形物体的符号类别分配准确率达到 92.9% ± 8.6%，且在多次运行中表现出高度一致性。
• 在 MNIST 八数码谜题领域，系统学习到的符号使规划器能够将空白块移动到任意目标位置，证明了其在机器人领域之外的泛化能力。
• 在八数码谜题中使用 14 个单元的瓶颈，在十五数码谜题中使用 15 个单元的瓶颈，其表征效率接近信息论下限，表明学习效率较高。
• 与使用直通估计器（STE）的基线自编码器相比，该系统在符号分配任务中显著提升了准确率，尤其在复杂物体类型上表现更优。