[论文解读] Continual Learning from Synthetic Data for a Humanoid Exercise Robot

Nicolas Duczek, Matthias Kerzel+1 more|arXiv (Cornell University)|Feb 19, 2021

Human Pose and Action Recognition参考文献 41被引用 5

一句话总结

本文提出Subnode-GWR，一种基于成长即所需网络（Grow-When-Required Networks）并引入循环连接与子节点机制的持续学习架构，使人形机器人（Pepper）能够在物理锻炼反馈中学习并适应多样的身体形态。该方法在存在旋转、平移及身体形态变化的情况下，实现了88%的平均姿态与运动识别准确率，通过在线生长机制与情景记忆有效缓解了灾难性遗忘。

ABSTRACT

In order to detect and correct physical exercises, a Grow-When-Required Network (GWR) with recurrent connections, episodic memory and a novel subnode mechanism is developed in order to learn spatiotemporal relationships of body movements and poses. Once an exercise is performed, the information of pose and movement per frame is stored in the GWR. For every frame, the current pose and motion pair is compared against a predicted output of the GWR, allowing for feedback not only on the pose but also on the velocity of the motion. In a practical scenario, a physical exercise is performed by an expert like a physiotherapist and then used as a reference for a humanoid robot like Pepper to give feedback on a patient's execution of the same exercise. This approach, however, comes with two challenges. First, the distance from the humanoid robot and the position of the user in the camera's view of the humanoid robot have to be considered by the GWR as well, requiring a robustness against the user's positioning in the field of view of the humanoid robot. Second, since both the pose and motion are dependent on the body measurements of the original performer, the expert's exercise cannot be easily used as a reference. This paper tackles the first challenge by designing an architecture that allows for tolerances in translation and rotations regarding the center of the field of view. For the second challenge, we allow the GWR to grow online on incremental data. For evaluation, we created a novel exercise dataset with virtual avatars called the Virtual-Squat dataset. Overall, we claim that our novel architecture based on the GWR can use a learned exercise reference for different body variations through continual online learning, while preventing catastrophic forgetting, enabling for an engaging long-term human-robot interaction with a humanoid robot.

研究动机与目标

• 使类人机器人能够基于已学习的参考动作，实时提供物理锻炼技术的反馈。
• 解决在不从头重新训练的前提下，将锻炼参考适配至不同用户身体形态的挑战。
• 在动态环境中持续学习新用户形态时，防止灾难性遗忘。
• 评估系统在机器人视野范围内用户发生平移与旋转时的鲁棒性。
• 构建一个合成数据集，用于在不依赖真人参与者的情况下训练与评估锻炼识别系统。

提出的方法

• Subnode-GWR在Gamma-GWR基础上引入子节点机制，实现对多样化身体形态的增量式增长与记忆容量提升。
• GWR模型中的循环连接用于捕捉帧间姿态与运动速度之间的时空关系。
• 情景记忆存储帧级姿态与运动配对，支持与预测输出的实时比对，以实现反馈。
• 创建了一项新型合成数据集Virtual-Squat，利用10个具有不同身体参数的虚拟角色，模拟真实世界的身体多样性。
• 系统采用OpenPose实现实时姿态估计，并应用距离度量（d_t,pose）检测关节位置的偏差。
• 通过子节点插入的在线学习机制，使网络能够增量式生长，同时保留先前学习的知识。

实验结果

研究问题

• RQ1 基于GWR的架构能否学习并保留不同身体形态下同一物理锻炼的多种变体？
• RQ2 系统在机器人视野范围内用户发生平移与旋转时的鲁棒性如何？
• RQ3 Subnode-GWR在持续学习新用户配置时，对灾难性遗忘的缓解程度如何？
• RQ4 来自虚拟角色的合成数据能否有效训练机器人，使其泛化至真实世界的锻炼反馈场景？
• RQ5 在存在扰动的情况下，Subnode-GWR相较于基线GWR变体在准确率与稳定性方面表现如何？

主要发现

• Subnode-GWR在所有测试变体中实现了88%的平均准确率，包括旋转、平移及组合扰动。
• 在5度旋转条件下，准确率仅下降1.3%（从89.9%降至88.6%），表明具有出色的旋转鲁棒性。
• 平移5厘米使准确率略微提升至90.1%，表明模型对位置偏移具有较强鲁棒性。
• 旋转与平移的共同作用使准确率降至83.5%，其中上半身误差最高（准确率为77.2%），主要由于身体倾斜所致。
• 系统展现出有效的持续学习能力，在无需灾难性遗忘的情况下，对多个虚拟角色保持高性能。
• Virtual-Squat数据集使模型在受控的合成条件下，可靠评估其鲁棒性与泛化能力成为可能。