[论文解读] AI Meets Physical World -- Exploring Robot Cooking

Yu Sun|arXiv (Cornell University)|Apr 21, 2018

Robot Manipulation and Learning参考文献 19被引用 7

一句话总结

本文提出了一种用于机器人烹饪的新型框架，使机器人能够通过观看在线教学视频来学习操作技能。利用功能型面向对象网络（FOON）和深度学习，机器人可理解任务、识别动作中的物体，并生成适应性强的运动轨迹和鲁棒的抓握策略，从而在动态厨房环境中显著提升性能。

ABSTRACT

This paper describes our recent research effort to bring the computer intelligence into the physical world so that robots could perform physically interactive manipulation tasks. Our proposed approach first gives robots the ability to learn manipulation skills by "watching" online instructional videos. After "watching" over 200 instructional videos, a functional object-oriented network (FOON) is constructed to represent the observed manipulation skills. Using the network, robots can take a high-level task command such as "I want BBQ Ribs for dinner," decipher the task goal, seek the correct objects to operate on, and then generate and execute a sequence of manipulation motions that can deal with physical interactions in a new condition. To best facilitate manipulation motions in the physical world, we also developed new grasping strategies for robots to hold objects with a firm grasp to withstand the disturbance during physical interactions.

研究动机与目标

• 使机器人能够从非结构化的在线教学视频中学习复杂操作技能，而无需针对特定任务进行编程。
• 解决在操作任务中物理交互的挑战，其中微小的不确定性会导致因高精度和力敏感性要求而失败。
• 开发一种知识表征系统（FOON），用于捕捉物体、工具与动作之间的功能关系，以支持任务分解与规划。
• 设计鲁棒的、任务特定的抓握策略，以支持动态物理交互，如倒液、切割和搅拌。
• 将感知、知识推理、运动生成与抓握优化整合到统一框架中，实现端到端的机器人烹饪。

提出的方法

• 通过融合337段以上烹饪视频中的知识，构建功能型面向对象网络（FOON），以表征功能单元、物体关系与动作序列。
• 采用基于卷积神经网络（CNN）的四阶段视频理解流水线，用于物体检测与定位，以及基于循环神经网络（RNN）的动作识别与事件推断。
• 利用置信度加权的物体-动作检测与基于图的融合方法，提升从视频流中识别事件与任务的准确性。
• 通过在力和运动数据上训练的深度循环神经网络生成操作动作，实现对倒液等物理交互的自适应控制。
• 基于任务功能推导出的交互力矩与运动需求，开发与硬件无关的抓握质量度量方法，实现最优抓握合成。
• 利用先前的人类示范数据（如抓握类型、拇指位置）在减小的配置空间中优化抓握选择，以提高效率与鲁棒性。

实验结果

研究问题

• RQ1 机器人如何自动从非结构化的在线烹饪视频中提取功能操作知识？
• RQ2 像FOON这样的统一知识表征如何在新环境中支持任务分解、物体识别与运动规划？
• RQ3 运动生成模型如何学习鲁棒且可适应的行为，以应对倒液、切割和搅拌等物理交互任务？
• RQ4 哪些抓握质量度量与优化策略能够使机器人在动态工具交互中保持稳定与力控？
• RQ5 如何将学习到的知识与运动策略整合到实时自适应控制框架中，以实现真实世界中的机器人烹饪？

主要发现

• FOON框架在事件识别中实现了合理准确率，并在与动作识别融合后性能显著提升，证明其在语义视频理解中的有效性。
• 物体-动作检测显著影响功能单元识别，表明准确识别物体在动作中的角色对任务理解至关重要。
• 用于倒液动作生成的深度循环神经网络成功基于力反馈与杯子参数预测角速度，实现在不同条件下的稳定倒液。
• 所提出的抓握质量度量在模拟中优于传统的基于力闭合的抓握，显示出在物理交互中更优的稳定性和力传递性能。
• 利用人类示范的抓握策略（如抓握类型、拇指位置）进行优化，缩小了搜索空间，并加速了向最优抓握的收敛。
• 初步结果表明，集成FOON、运动生成与抓握优化后，机器人能够理解高层级指令如“我想晚餐吃烧烤排骨”，并执行复杂且自适应的操作序列。