[论文解读] Learning to Represent Mechanics via Long-term Extrapolation and Interpolation

Sébastien Ehrhardt, Áron Monszpart+2 more|arXiv (Cornell University)|Jun 6, 2017

Model Reduction and Neural Networks参考文献 18被引用 8

一句话总结

该论文提出一种循环神经网络，仅从视觉观测中隐式学习物理状态，从而在无法访问真实状态变量的情况下，实现对机械运动（特别是球在三维碗中滚动）的准确长期外推和内插。该模型在性能上与使用显式物理模型的基线方法相当，同时通过学习到的方差估计预测不确定性。

ABSTRACT

While the basic laws of Newtonian mechanics are well understood, explaining a physical scenario still requires manually modeling the problem with suitable equations and associated parameters. In order to adopt such models for artificial intelligence, researchers have handcrafted the relevant states, and then used neural networks to learn the state transitions using simulation runs as training data. Unfortunately, such approaches can be unsuitable for modeling complex real-world scenarios, where manually authoring relevant state spaces tend to be challenging. In this work, we investigate if neural networks can implicitly learn physical states of real-world mechanical processes only based on visual data, and thus enable long-term physical extrapolation. We develop a recurrent neural network architecture for this task and also characterize resultant uncertainties in the form of evolving variance estimates. We evaluate our setup to extrapolate motion of a rolling ball on bowl of varying shape and orientation using only images as input, and report competitive results with approaches that assume access to internal physics models and parameters.

研究动机与目标

• 探究神经网络是否能仅从视觉数据中隐式学习物理状态，而无需依赖手工设计的状态空间。
• 仅使用图像输入，实现对复杂机械系统（如球在三维碗中滚动）的长期物理外推。
• 通过在训练过程中估计高斯观测模型中的方差，显式建模预测不确定性。
• 通过同时依赖初始和最终状态进行条件建模，将框架扩展至内插任务，实现前馈轨迹重建。
• 在平面运动之外的复杂情形下评估性能，包括耦合的线动量与角动量动力学。

提出的方法

• 设计一种循环神经网络（RNN）架构，通过时间更新的隐藏特征向量隐式编码系统的物理状态。
• 使用端到端的时间反向传播，在机械系统的模拟视频序列上进行训练，监督目标为未来的位置和速度。
• 集成一个概率输出头，对未来的状态预测高斯分布，从而通过学习到的方差实现不确定性估计。
• 通过将前 T₀ 帧和最终观测帧拼接作为输入，将模型扩展至内插任务，实现全轨迹的前馈重建。
• 使用基于视频的仿真环境生成具有不同碗形、方向和初始条件的多样化训练数据。
• 应用课程学习和数据增强策略，以提升对未见物理构型的泛化能力。

实验结果

研究问题

• RQ1 神经网络是否能仅从视觉观测中学习到有意义的物理状态表征，而无需访问真实状态变量？
• RQ2 通过长期预测监督进行端到端训练，是否能比依赖手工设计状态的模型实现更好的泛化性能？
• RQ3 该模型是否能有效估计预测不确定性，特别是在分布外（out-of-distribution）场景下？
• RQ4 同一架构是否能在极少架构修改下同时实现外推与内插？
• RQ5 该模型在具有耦合动力学的复杂机械系统（如球在三维碗中滚动）上的表现如何？

主要发现

• 所提模型在长期外推任务中表现具有竞争力——例如，在碗实验中，位置的 L2 误差在 T=40 时为 1.02，与可访问真实状态信息的 NPE++ 模型相当。
• 模型泛化到未见过的场景，例如在 'Ellipse no-texture' 情况下，即使未在旋转运动上进行过训练，也能准确推断角速度。
• 将角速度作为预测输出时，性能得到提升，而 NPE++ 的性能则下降，表明该模型学习到了更鲁棒的内部表征。
• 通过学习到的方差进行不确定性估计，显著提升了预测质量，特别是在模糊或分布外情形下。
• 内插设置中，同时使用初始和最终帧作为输入，减少了运动模糊性，在椭圆任务中 T=40 时 L2 误差降至 0.65，优于 PhysNet（1.35 L2 误差）。
• 该模型对视觉变化和复杂动力学表现出鲁棒性，成功建模了三维碗场景中耦合的线动量与角动量。