[论文解读] Learning Robot Structure and Motion Embeddings using Graph Neural Networks

Joanne Taery Kim, Jeongeun Park+2 more|arXiv (Cornell University)|Sep 15, 2021

Advanced Graph Neural Networks参考文献 25被引用 6

一句话总结

该论文提出了一种基于图神经网络（GNN）的框架，通过树状消息传递机制，学习机器人运动学结构和运动数据的低维共享嵌入表示。通过采用多任务学习联合训练正向运动学（FK）与逆向运动学（IK），该方法生成了结构化且可解释的嵌入表示，能够有效捕捉运动学关系——在聚类有意义的机器人构型方面优于MLP基线模型，能够在连续的几何空间中将相似的机器人构型与位姿关联起来。

ABSTRACT

We propose a learning framework to find the representation of a robot's kinematic structure and motion embedding spaces using graph neural networks (GNN). Finding a compact and low-dimensional embedding space for complex phenomena is a key for understanding its behaviors, which may lead to a better learning performance, as we observed in other domains of images or languages. However, although numerous robotics applications deal with various types of data, the embedding of the generated data has been relatively less studied by roboticists. To this end, our work aims to learn embeddings for two types of robotic data: the robot's design structure, such as links, joints, and their relationships, and the motion data, such as kinematic joint positions. Our method exploits the tree structure of the robot to train appropriate embeddings to the given robot data. To avoid overfitting, we formulate multi-task learning to find a general representation of the embedding spaces. We evaluate the proposed learning method on a robot with a simple linear structure and visualize the learned embeddings using t-SNE. We also study a few design choices of the learning framework, such as network architectures and message passing schemes.

研究动机与目标

• 开发一种表示学习框架，将机器人运动学结构与运动数据映射到低维共享嵌入空间中。
• 解决机器人设计与运动数据缺乏系统性嵌入方法的问题，这些数据常被忽视，而研究重点多集中于图像或语言表示。
• 利用机器人运动学固有的树状结构进行消息传递，以有效编码结构与运动学关系。
• 通过在正向运动学（FK）与逆向运动学（IK）上采用多任务学习，提升模型泛化能力并避免过拟合。

提出的方法

• 该方法基于Gilmer等人提出的框架，采用基于树状结构的消息传递神经网络（MPNN），将机器人运动学链编码为节点与边的特征。
• 实现双向消息传递机制：从根节点向叶节点的下行传递，以及从叶节点向根节点的上行传递，以实现结构与运动学信息的分层聚合。
• 在多任务学习设置下，联合优化正向运动学（FK）与逆向运动学（IK）任务，以学习共享的、通用的嵌入空间。
• 评估两种重建策略：编码器-解码器（ED）与填空式（FB）策略，其中FB策略在细节保留与结构区分方面表现更优。
• 网络架构在下行与上行传递过程中，分别使用消息生成、聚合与隐藏状态更新函数。
• 采用t-SNE对生成的嵌入进行可视化，对比基于GNN的方法与标准多层感知机（MLP）基线模型的性能。

实验结果

研究问题

• RQ1 基于GNN的框架是否能通过利用其树状结构，学习到机器人运动学结构与运动数据的有意义且低维的嵌入表示？
• RQ2 在正向运动学（FK）与逆向运动学（IK）上采用多任务学习，相比单任务学习，如何提升所学习嵌入的质量与泛化能力？
• RQ3 不同消息传递机制（如单向与往返传递）如何影响所学习嵌入空间的结构？
• RQ4 与标准MLP模型相比，所学习的嵌入在可解释性与机器人构型及位姿聚类方面表现如何？

主要发现

• GNN方法在结构嵌入空间中生成了两个明显分离的长曲形聚类，分别对应三关节与四关节机器人，表明其基于运动学能力实现了有意义的分离。
• 相比之下，MLP基线模型产生更分散、无结构的分布，无法将相似构型有效分组，且缺乏可解释性。
• 通过GNN学习的位姿嵌入形成一个单一、连通且拉长的聚类，与第一关节角度高度相关，反映出其在末端执行器可达性中的主导作用。
• 填空式（FB）重建策略生成的嵌入比编码器-解码器（ED）策略更具结构性与细节性，对输入变化的区分更清晰。
• 多次往返消息传递（三轮）在每种关节数量下形成圆形聚类，并引入少量异常值群组，表明更深层次的消息交换带来了更丰富的结构编码。
• t-SNE可视化结果证实，GNN嵌入空间比MLP基线更有效地保留了运动学关系，如可达性与奇异性。