[论文解读] DensePhysNet: Learning Dense Physical Object Representations via Multi-step Dynamic Interactions

Zhenjia Xu, Jiajun Wu+3 more|arXiv (Cornell University)|Jun 10, 2019

Robot Manipulation and Learning参考文献 33被引用 17

一句话总结

DensePhysNet 通过自监督的多步动态交互（例如滑动和碰撞）学习密集的、像素级的物理对象表征，仅依赖视觉观测。通过在光流上使用循环预测模型，它在无监督条件下推断出质量、摩擦力等物理属性，在属性解码和下游操控任务中均达到最先进性能，甚至能泛化到训练时未见过的更多物体的场景。

ABSTRACT

We study the problem of learning physical object representations for robot manipulation. Understanding object physics is critical for successful object manipulation, but also challenging because physical object properties can rarely be inferred from the object's static appearance. In this paper, we propose DensePhysNet, a system that actively executes a sequence of dynamic interactions (e.g., sliding and colliding), and uses a deep predictive model over its visual observations to learn dense, pixel-wise representations that reflect the physical properties of observed objects. Our experiments in both simulation and real settings demonstrate that the learned representations carry rich physical information, and can directly be used to decode physical object properties such as friction and mass. The use of dense representation enables DensePhysNet to generalize well to novel scenes with more objects than in training. With knowledge of object physics, the learned representation also leads to more accurate and efficient manipulation in downstream tasks than the state-of-the-art.

研究动机与目标

• 在不使用显式监督的情况下学习物理对象表征，仅依赖动态交互的视觉观测。
• 实现对训练中未见的、包含更多物体的新场景的泛化能力。
• 从学习到的密集表征中解码质量、摩擦力等物理属性，用于下游控制任务。
• 证明多种交互类型（滑动与碰撞）对于准确推断物理属性至关重要。
• 将解码的物理属性与物理引擎结合，用于规划新颖的操控任务。

提出的方法

• DensePhysNet 使用深层循环模型，基于动态交互后的视觉观测，通过光流向量预测未来物体运动。
• 模型通过自监督方式训练，利用动作和观测序列预测运动结果。
• 采用模块化架构，将视觉外观和动作表征与物理属性表征解耦，实现表征解缠。
• 系统执行多步交互（滑动与碰撞），以收集多样化的动态线索，用于物理属性推断。
• 学习到的解码器从密集物理表征中提取质量、摩擦力等物理属性，供下游任务使用。
• 该框架将学习到的表征与物理引擎结合，用于规划和执行新颖的控制任务。

实验结果

研究问题

• RQ1 深度预测模型能否在无显式监督的情况下，仅通过自监督的动态交互学习到密集的物理对象表征？
• RQ2 学习到的表征在包含比训练数据中更多物体的场景中，泛化能力如何？
• RQ3 多种交互类型（滑动与碰撞）在多大程度上提升了物理属性推断的准确性？
• RQ4 从表征中解码出的物理属性能否在物理引擎中有效用于新颖任务规划？
• RQ5 DensePhysNet 在属性解码和下游操控任务中的性能与最先进方法相比如何？

主要发现

• 在仿真和真实世界设置中，DensePhysNet 在预测物理属性（质量与摩擦力）方面的平均误差显著低于基线方法。
• 该模型在包含多达四个物体的场景中仍能有效泛化，尽管训练数据中仅包含最多两个物体，且在不同物体数量下性能下降极小。
• 同时使用滑动与碰撞交互比仅使用滑动交互能带来更好的泛化与控制性能。
• 在一项涉及平面滑动与目标物体的新任务中，DensePhysNet 的平均最终位置误差显著低于对比方法。
• 与依赖全局场景嵌入的方法相比，使用密集像素级表征能更好地泛化到复杂场景。
• 在物理表征上训练的解码器成功提取出质量与摩擦力数值，这些数值随后在物理引擎中被有效用于规划新任务。