[论文解读] Learning Multi-Object Symbols for Manipulation with Attentive Deep Effect Predictors

Alper Ahmetoğlu, Erhan Öztop+1 more|arXiv (Cornell University)|Aug 1, 2022

Robot Manipulation and Learning参考文献 34被引用 4

一句话总结

该论文提出了一种带有二值潜在层的自注意力深度预测编码器-解码器网络，使机器人能够在动态、可变物体的环境中通过自我探索发现离散的多对象符号。该系统能够预测交互效应，并支持符号推理与规划，例如重新排列物体堆叠，在模拟环境中以最少的、生态上相关的符号实现正确多步规划。

ABSTRACT

In this paper, we propose a concept learning architecture that enables a robot to build symbols through self-exploration by interacting with a varying number of objects. Our aim is to allow a robot to learn concepts without constraints, such as a fixed number of interacted objects or pre-defined symbolic structures. As such, the sought architecture should be able to build symbols for objects such as single objects that can be grasped, object stacks that cannot be grasped together, or other composite dynamic structures. Towards this end, we propose a novel architecture, a self-attentive predictive encoder-decoder network with binary activation layers. We show the validity of the proposed network through a robotic manipulation setup involving a varying number of rigid objects. The continuous sensorimotor experience of the robot is used by the proposed network to form effect predictors and symbolic structures that describe the interaction of the robot in a discrete way. We showed that the robot acquired reasoning capabilities to encode interaction dynamics of a varying number of objects in different configurations using the discovered symbols. For example, the robot could reason that (possible multiple numbers of) objects on top of another object would move together if the object below is moved by the robot. We also showed that the discovered symbols can be used for planning to reach goals by training a higher-level neural network that makes pure symbolic reasoning.

研究动机与目标

• 使机器人能够在无预定义结构或固定交互约束的情况下，发现可变数量物体的符号表示。
• 开发一种单一神经架构，通过自注意力机制同时形成特定于物体的符号和复合的多物体符号。
• 赋予机器人关于交互动力学的推理能力，例如预测当底座被移动时，堆叠在上面的物体将一起移动。
• 证明所发现的符号可用于通过学习的符号转移模型实现目标导向的规划。
• 仅使用所学符号实现纯符号推理与计划生成，并在模拟环境中进行验证。

提出的方法

• 使用自注意力预测编码器-解码器网络，将连续的感官运动观测映射为离散的符号表示。
• 二值激活层形成瓶颈，以强制生成离散且紧凑的符号表示，从而优化效应预测。
• 自注意力机制动态组合物体符号，实时形成复合的多物体符号。
• 使用二元交叉熵损失训练一个独立的符号前向模型，以从当前状态和动作预测下一符号状态。
• 系统在包含可变数量刚性物体的模拟机器人操作数据上进行端到端训练。
• 通过在学习的符号转移模型上使用树搜索，评估符号推理与规划。

实验结果

研究问题

• RQ1 单一神经架构能否通过自我探索为可变数量的物体发现离散且生态相关的符号？
• RQ2 所发现的符号能否支持对交互效应的准确预测，例如抓取过程中的物体移动？
• RQ3 系统能否推理出当底座被操作时，其上的物体将一起移动？
• RQ4 所学符号能否支持多步符号规划，以实现如构建复合物体结构等复杂目标？
• RQ5 所发现的符号集合是否最小化，且针对效应预测进行优化，而非冗余或任意？

主要发现

• 该系统成功学习到一组最小符号集合，足以实现准确的效应预测，包括一个共享的“不可抓取”符号，用于遮挡物体，无论其类型如何。
• 机器人通过预测当底座被拿起时，其上的物体将一起移动，展示了推理能力，即使在多种物体配置下也成立。
• 所发现的符号使高层符号前向模型能够生成正确的多步计划，模拟中成功执行了目标达成任务，验证了其有效性。
• 符号转移模型实现了准确的下一状态预测，使树搜索算法能够为复杂目标（如重新定位物体堆叠）找到可行计划。
• 系统在未见过的物体数量和配置上表现出泛化能力，显示出在可变环境操作中的鲁棒性。
• 自注意力机制有效将单个物体符号组合为复合多物体符号，准确捕捉了交互动力学。