[论文解读] Learning A Physical Long-term Predictor

Sébastien Ehrhardt, Áron Monszpart+2 more|arXiv (Cornell University)|Mar 1, 2017

Evolutionary Algorithms and Applications参考文献 22被引用 38

一句话总结

该论文提出MechaNet，一种单一的循环神经网络，能够从视觉输入中端到端地进行机械运动的长期预测，而无需依赖显式的物理模拟器。通过学习物理定律的内在表征并利用预测分布建模不确定性，该网络在物理参数未被观测时，性能优于使用真实物理参数的模拟器，但其泛化能力仍受限于训练分布范围。

ABSTRACT

Evolution has resulted in highly developed abilities in many natural intelligences to quickly and accurately predict mechanical phenomena. Humans have successfully developed laws of physics to abstract and model such mechanical phenomena. In the context of artificial intelligence, a recent line of work has focused on estimating physical parameters based on sensory data and use them in physical simulators to make long-term predictions. In contrast, we investigate the effectiveness of a single neural network for end-to-end long-term prediction of mechanical phenomena. Based on extensive evaluation, we demonstrate that such networks can outperform alternate approaches having even access to ground-truth physical simulators, especially when some physical parameters are unobserved or not known a-priori. Further, our network outputs a distribution of outcomes to capture the inherent uncertainty in the data. Our approach demonstrates for the first time the possibility of making actionable long-term predictions from sensor data without requiring to explicitly model the underlying physical laws.

研究动机与目标

• 探究单一深度神经网络是否能够在不依赖外部物理模拟器的情况下实现准确的长期机械预测。
• 评估神经网络是否能仅从视觉数据中隐式学习物理定律，并在不同物理场景间泛化。
• 评估在长期运动预测中建模预测不确定性的有效性。
• 比较端到端学习与基于神经网络进行参数估计后使用外部模拟器的流水线方法的性能。
• 确定学习到的物理表征与标准物理定律相比，其泛化能力的局限性。

提出的方法

• 训练循环神经网络（RNN）架构，直接从输入视频帧预测物体轨迹，跳过中间的物理参数估计步骤。
• 卷积神经网络从初始帧提取空间特征，随后由RNN对状态随时间的演化进行建模。
• 通过高斯分布或概率图模型输出未来位置的预测分布，以表征不确定性。
• 通过网络架构的归纳偏差施加软先验——局部且空间同质的结构——在无显式监督的情况下模仿物理定律。
• 在具有可变倾角和非均匀摩擦的立方体沿斜面滑动的合成模拟数据上进行模型训练。
• 通过逐步延长的视频序列计算训练损失，以评估模型的泛化能力。

实验结果

研究问题

• RQ1 单一深度神经网络是否能够在不依赖外部物理模拟器的情况下实现准确的长期机械预测？
• RQ2 神经网络仅从视觉数据中隐式学习物理定律的能力在多大程度上成立？
• RQ3 学习到的表征在未在训练中出现的物理场景中泛化程度如何？
• RQ4 通过预测分布建模不确定性是否能提升长期预测的鲁棒性？
• RQ5 端到端学习与先通过神经网络估计参数再使用模拟器的流水线方法相比，性能如何？

主要发现

• 当摩擦系数或斜面倾角等物理参数未被观测或事先未知时，MechaNet的性能优于使用真实物理参数的模拟器。
• 在摩擦系数可变的场景（S2）中，MechaNet4显著优于SimNet，后者因参数不可观测而失效。
• 在更长序列上进行训练可提升长期预测的准确性，MechaNet4在完整序列上训练的模型性能比SimNet高出约20%。
• 使用概率图模型表征不确定性的MechaNet4相比使用高斯模型的MechaNet3，困惑度更低，表明其不确定性校准更优。
• 所有网络在训练分布之外的场景中泛化能力均较差，表明学习到的表征泛化能力弱于标准物理定律。
• 即使在建模不确定性的情况下，网络的预测不确定性仍随时间合理增长，反映出预测模糊性的增加。