[论文解读] Learning Robot Activities from First-Person Human Videos Using Convolutional Future Regression

Jangwon Lee, Michael S. Ryoo|arXiv (Cornell University)|Mar 3, 2017

Human Pose and Action Recognition参考文献 18被引用 5

一句话总结

该论文提出了一种新颖的无监督深度学习方法，通过使用全卷积网络回归未来的手部和物体位置，使机器人能够直接从无标注的第一人称人类视频中学习新活动。通过扩展SSD用于手部-物体检测，并训练一个未来回归网络以预测场景表征的时间变化，该机器人实现了无需标注示范的实时端到端运动控制推理，在人机协作中的成功率显著优于基线方法。

ABSTRACT

We design a new approach that allows robot learning of new activities from unlabeled human example videos. Given videos of humans executing the same activity from a human's viewpoint (i.e., first-person videos), our objective is to make the robot learn the temporal structure of the activity as its future regression network, and learn to transfer such model for its own motor execution. We present a new deep learning model: We extend the state-of-the-art convolutional object detection network for the representation/estimation of human hands in training videos, and newly introduce the concept of using a fully convolutional network to regress (i.e., predict) the intermediate scene representation corresponding to the future frame (e.g., 1-2 seconds later). Combining these allows direct prediction of future locations of human hands and objects, which enables the robot to infer the motor control plan using our manipulation network. We experimentally confirm that our approach makes learning of robot activities from unlabeled human interaction videos possible, and demonstrate that our robot is able to execute the learned collaborative activities in real-time directly based on its camera input.

研究动机与目标

• 使机器人能够从无标注的第一人称人类视频中学习新活动，而无需依赖标注示范或预定义的原子动作。
• 通过利用人类对比视频作为可扩展的教学资源，解决真实世界机器人数据有限的挑战。
• 开发一种实时端到端系统，通过预测手部和物体位置的未来状态，将视觉观测映射到运动控制策略。
• 通过直接从预测的未来状态推断运动指令，消除对手动编码运动策略的需求。

提出的方法

• 扩展SSD目标检测网络，以在第一人称视频帧中检测并表征人类手部和物体。
• 引入一个全卷积的未来回归网络，用于预测未来帧（例如1–2秒后）的中间场景表征。
• 利用视频序列中时间的一致性，通过无监督方式以预测的未来手部和物体位置作为监督信号来训练未来回归网络。
• 将未来回归网络的输出与一个操作网络结合，将2D图像空间中的手部位置映射为7-DOF机器人关节角度。
• 仅使用视频数据端到端训练整个系统，无需活动视频中的动作标签或手/姿态标注。
• 在单张Titan X GPU上实现每帧约100ms的实时推理，支持实时人机协作。

实验结果

研究问题

• RQ1 机器人是否能仅从无标注的第一人称人类视频中学习执行新协作任务，而无需任何动作标注或示范？
• RQ2 未来回归网络在第一人称视频中预测人类手部和物体位置的空间与时间演变的效率如何？
• RQ3 预测未来手部位置在多大程度上提升了机器人实时生成准确且及时的运动控制指令的能力？
• RQ4 与监督或基线方法相比，所提出的无监督方法在人机协作成功率方面表现如何？

主要发现

• 所提方法在人机协作任务中获得了平均用户评分3.29（满分5分），显著优于所有基线方法（1.72、1.92和2.29）。
• 参与者评价机器人在清理桌面（3.17/5）和传递烤架（3.42/5）任务中表现更称职，表明其任务成功率感知较强。
• 系统在单张Titan X GPU上以每帧约100ms的延迟实时运行，支持实时人机互动。
• 未来回归网络成功以高精度预测了未来的手部位置，如在后续帧上重叠预测结果所示。
• 未来回归训练的无监督特性使模型能够泛化到不同活动，而无需标注的过渡或动作序列。
• 感知与操作组件的结合使机器人仅依赖视觉输入即可执行复杂的协作任务，无需显式运动规划或手动编码策略。