[论文解读] Learning Awareness Models

Brandon Amos, Laurent Dinh+8 more|arXiv (Cornell University)|Apr 17, 2018

Anomaly Detection Techniques and Applications参考文献 36被引用 13

一句话总结

本文提出仅通过本体感觉信号学习动态身体模型，通过身体受外部物体影响的效应来隐式表征外部物体。尽管未直接观测世界，该模型仍能学习到持久、整体的物体表征，并在仿真和真实机械手环境中实现对物体属性和控制策略的准确预测。

ABSTRACT

We consider the setting of an agent with a fixed body interacting with an unknown and uncertain external world. We show that models trained to predict proprioceptive information about the agent's body come to represent objects in the external world. In spite of being trained with only internally available signals, these dynamic body models come to represent external objects through the necessity of predicting their effects on the agent's own body. That is, the model learns holistic persistent representations of objects in the world, even though the only training signals are body signals. Our dynamics model is able to successfully predict distributions over 132 sensor readings over 100 steps into the future and we demonstrate that even when the body is no longer in contact with an object, the latent variables of the dynamics model continue to represent its shape. We show that active data collection by maximizing the entropy of predictions about the body---touch sensors, proprioception and vestibular information---leads to learning of dynamic models that show superior performance when used for control. We also collect data from a real robotic hand and show that the same models can be used to answer questions about properties of objects in the real world. Videos with qualitative results of our models are available at https://goo.gl/mZuqAV.

研究动机与目标

• 开发一种框架，使智能体仅使用内部本体感觉信号来表征外部物体，而无需直接观测环境。
• 探究预测性身体状态模型在多大程度上能隐式捕捉外部物体的持久、整体表征。
• 证明此类模型可用于推理物体属性以及在控制任务中进行规划。
• 在仿真和真实机器人平台上验证该方法，展示其对真实世界动态的泛化能力。

提出的方法

• 在仿真和现实中的机械手采集的132个本体感觉传感器读数（关节角度、力矩、接触力、惯性测量）上训练深度预测模型。
• 利用模型预测未来100个时间步的传感器状态，借助时间一致性推断物体属性。
• 通过最大化预测熵实施主动数据采集，以鼓励探索并提升模型泛化能力。
• 从动态模型中提取潜在表征，以推断物体属性，如形状和方向。
• 通过在潜在空间中优化轨迹来实现规划，以达成训练期间未见过的控制目标。
• 将相同的模型架构和训练流程迁移至真实机械手数据，证明其在真实世界中的适用性。

实验结果

研究问题

• RQ1 仅在本体感觉信号上训练的模型能否在不直接观测世界的情况下，学习到外部物体的持久、整体表征？
• RQ2 当智能体未与物体接触时，身体动态的预测模型在多大程度上能推断出物体属性（如形状和方向）？
• RQ3 基于预测不确定性的主动数据采集是否能提升用于下游推理和控制的动态模型质量？
• RQ4 相同的模型架构和训练流程能否从仿真泛化到真实世界机器人平台？
• RQ5 动态模型的潜在空间能否用于回答关于外部物体的诊断性问题，如物体方向？

主要发现

• 该模型在100步的未来预测中，对132个传感器读数的预测具有高精度，即使在手未接触物体时亦然。
• 即使在手失去接触后，动态模型中的潜在变量仍持续表征物体的形状和属性，表明具备持久的物体意识。
• 通过最大化预测熵实施的主动数据采集，显著提升了模型在控制和推理任务中的性能。
• 在真实机械手上，模型仅使用本体感觉数据和模型特征，即实现了对物体方向的准确预测（中位数误差 < 10°）。
• 该模型实现了在潜在空间中的规划，以达成训练期间未见过的目标，证明其具备超越直接观测的推理能力。
• 自举分析显示，模型特征在预测物体方向方面显著优于原始传感器数据，95%置信区间表明具有统计学上的显著改进。