[论文解读] Deep Predictive Learning: Motion Learning Concept inspired by Cognitive Robotics

Kanata Suzuki, Hiroshi Ito+3 more|arXiv (Cornell University)|Jun 26, 2023

Robot Manipulation and Learning被引用 6

一句话总结

本文提出深度预测学习（Deep Predictive Learning），一种受认知神经科学启发的机器人框架，通过最小化预测与实际感觉运动结果之间的预测误差，使机器人能够学习运动控制。通过整合预测编码与实时误差校正，该方法使机器人能够通过端到端学习（结合视觉、触觉与注意力机制）泛化至未学习的任务——如折叠毛巾、打结、拉开拉链袋——实现无需显式环境建模的鲁棒、自适应行为。

ABSTRACT

Bridging the gap between motion models and reality is crucial by using limited data to deploy robots in the real world. Deep learning is expected to be generalized to diverse situations while reducing feature design costs through end-to-end learning for environmental recognition and motion generation. However, data collection for model training is costly, and time and human resources are essential for robot trial-and-error with physical contact. We propose "Deep Predictive Learning," a motion learning concept that predicts the robot's sensorimotor dynamics, assuming imperfections in the prediction model. The predictive coding theory inspires this concept to solve the above problems. It is based on the fundamental strategy of predicting the near-future sensorimotor states of robots and online minimization of the prediction error between the real world and the model. Based on the acquired sensor information, the robot can adjust its behavior in real time, thereby tolerating the difference between the learning experience and reality. Additionally, the robot was expected to perform a wide range of tasks by combining the motion dynamics embedded in the model. This paper describes the proposed concept, its implementation, and examples of its applications in real robots. The code and documents are available at: https://ogata-lab.github.io/eipl-docs

研究动机与目标

• 解决在非结构化、真实世界环境中机器人操作的挑战，其中传统基于模型的方法因预测不准确而失效。
• 通过从感觉运动数据中实现端到端学习运动策略，减少对手动特征工程和大规模预标注数据集的依赖。
• 通过基于误差驱动的预测学习，提升机器人在操作形变物体（如布料、绳索）任务中的泛化能力与适应性。
• 弥合认知机器人学原理（尤其是自由能原理）与实际机器人控制系统之间的差距。
• 通过根据预测误差动态切换预测模型，在任务执行过程中实现实时适应。

提出的方法

• 该方法基于自由能原理与预测编码，机器人通过最小化其内部对未来状态的预测与实际感官反馈之间的预测误差。
• 深度神经网络处理多模态输入（图像、触觉数据、本体感觉），预测近未来的状态，并生成可减少该预测误差的运动。
• 系统使用注意力机制在任务执行期间聚焦显著特征（如拉链位置、物体朝向），提升在光照与物体构型变化下的鲁棒性。
• 基于实时预测误差，动态切换多个预测模型，实现对意外环境变化的自适应响应。
• 通过模型内部学习的动力学整合，实现运动生成，支持复杂任务的分层与一体化控制。
• 该框架支持将语言描述（如PDDL类表示）转化为运动策略，实现语言条件下的任务执行。

实验结果

研究问题

• RQ1 机器人如何在无需显式环境建模的情况下，学习执行涉及形变物体的复杂操作任务？
• RQ2 机器人仅通过感觉运动数据的端到端学习，能在多大程度上泛化至新型物体形状与构型？
• RQ3 实时预测误差最小化是否能提升物理机器人交互中的鲁棒性与适应性？
• RQ4 注意力机制与多模态感觉反馈的整合如何提升预测准确性与任务表现？
• RQ5 认知神经科学中的预测编码原理能否有效转化为可扩展的机器人学习框架？

主要发现

• 机器人仅使用图像与运动数据，成功学习折叠多条毛巾，无需显式建模即可在物体差异与错位情况下实现泛化。
• 通过注意力机制聚焦关键特征，该方法显著提升了在不同形状与颜色的布袋上实现鲁棒拉链操作的能力，尤其在视觉与光照变化下表现更优。
• 在结绳与扣纽扣等复杂操作任务中，引入触觉传感器数据显著提升了预测准确性与任务成功率。
• 系统通过基于实时误差的预测模型动态切换，展示了对意外环境变化的自适应响应能力。
• 该框架通过单一统一的模型架构，实现了在毛巾折叠、打结与拉链袋打开等多样化任务间的泛化能力。
• 通过功能连接缺失与兴奋-抑制失衡的神经发育障碍模拟，重现了行为异常，验证了该模型在认知上的合理性。