[论文解读] Estimating Mass Distribution of Articulated Objects using Non-prehensile Manipulation

K. Niranjan Kumar, Irfan Essa+2 more|arXiv (Cornell University)|Jul 9, 2019

Robot Manipulation and Learning参考文献 42被引用 13

一句话总结

本文提出了一种强化学习与监督学习相结合的框架，使机器人智能体能够通过非抓握式推动来估计刚性连接物体（如二维连杆）的质量分布。通过在仿真环境中学习策略性交互策略与质量分布预测器，该方法在真实世界2连杆系统上实现了81.4%的分类准确率，显著优于随机推动策略（40.74%）。

ABSTRACT

We explore the problem of estimating the mass distribution of an articulated object by an interactive robotic agent. Our method predicts the mass distribution of an object by using the limited sensing and actuating capabilities of a robotic agent that is interacting with the object. We are inspired by the role of exploratory play in human infants. We take the combined approach of supervised and reinforcement learning to train an agent that learns to strategically interact with the object to estimate the object's mass distribution. Our method consists of two neural networks: (i) the policy network which decides how to interact with the object, and (ii) the predictor network that estimates the mass distribution given a history of observations and interactions. Using our method, we train a robotic arm to estimate the mass distribution of an object with moving parts (e.g. an articulated rigid body system) by pushing it on a surface with unknown friction properties. We also demonstrate how our training from simulations can be transferred to real hardware using a small amount of real-world data for fine-tuning. We use a UR10 robot to interact with 3D printed articulated chains with varying mass distributions and show that our method significantly outperforms the baseline system that uses random pushes to interact with the object.

研究动机与目标

• 使机器人智能体通过物理交互（不抓握）推断刚性连接物体的质量分布。
• 开发一种策略，以选择具有信息量的推动动作，从而最大化关于质量分布的信息增益。
• 使用仿真数据训练预测网络，从交互轨迹中估计质量分布。
• 实现在仿真到真实世界部署的迁移，且仅需极少的真实世界微调。
• 证明策略性交互在估计刚性系统物理属性方面优于随机推动。

提出的方法

• 该方法采用双神经网络架构：策略网络用于选择推动动作，预测网络用于估计质量分布。
• 策略网络通过强化学习进行训练，以最大化每次推动带来的信息增益。
• 预测网络通过监督学习在带有已知质量分布的仿真状态-动作轨迹上进行训练。
• 系统在元优化循环中交替训练预测网络并优化策略网络。
• 仿真在PyBullet中进行，涵盖2D和3D的刚性连杆系统，质量分布与摩擦系数各不相同。
• 通过使用UR10机器人在150个真实世界交互样本上对仿真训练模型进行微调，实现从仿真到真实硬件的迁移。

实验结果

研究问题

• RQ1 机器人能否仅通过非抓握式推动学习估计刚性连接物体的质量分布？
• RQ2 与随机推动相比，学习到的交互策略是否能显著提高质量估计的准确性？
• RQ3 经过仿真训练的模型在仅使用极少真实世界数据的情况下，能在多大程度上成功迁移到真实机器人硬件上？
• RQ4 机器人推断单个连杆质量的能力在多大程度上取决于推动位置与力度的选择？
• RQ5 该系统能否在几何结构相似的不同类型刚性连接物体上实现泛化？

主要发现

• 所提方法在真实世界2连杆系统上实现了81.4%的分类准确率，显著优于随机策略基线的40.74%。
• 学习到的策略始终选择能引发连杆协同运动的推动动作，从而更有效地解耦单个连杆的质量。
• 仅通过150个真实世界交互样本的微调，系统成功实现了从仿真到真实硬件的迁移。
• 在包含多样化质量分布与摩擦系数的仿真数据上训练的预测网络，成功泛化到未见过的配置。
• 该方法表明，并非所有推动都具有同等信息量；策略性动作能显著提升推断性能。
• 策略学会避免造成大范围、不可控运动或关节锁死的推动方式，这些方式会降低估计准确性。