[论文解读] Flexible Neural Representation for Physics Prediction

Damian Mrowca, Chengxu Zhuang+5 more|arXiv (Cornell University)|Jun 21, 2018

Human Pose and Action Recognition参考文献 46被引用 86

一句话总结

本文提出层次关系网络（HRN）及其层次粒子图，用于预测包括刚体和可变形对象在内的复杂物理，能够实现长时程、合理的动力学并在超出训练情景的强泛化。

ABSTRACT

Humans have a remarkable capacity to understand the physical dynamics of objects in their environment, flexibly capturing complex structures and interactions at multiple levels of detail. Inspired by this ability, we propose a hierarchical particle-based object representation that covers a wide variety of types of three-dimensional objects, including both arbitrary rigid geometrical shapes and deformable materials. We then describe the Hierarchical Relation Network (HRN), an end-to-end differentiable neural network based on hierarchical graph convolution, that learns to predict physical dynamics in this representation. Compared to other neural network baselines, the HRN accurately handles complex collisions and nonrigid deformations, generating plausible dynamics predictions at long time scales in novel settings, and scaling to large scene configurations. These results demonstrate an architecture with the potential to form the basis of next-generation physics predictors for use in computer vision, robotics, and quantitative cognitive science.

研究动机与目标

• 激发一种灵活的以对象为中心的表征，能够捕捉任意刚性和非刚性材料。
• 开发可扩展的神经网络架构，以在复杂多对象场景中预测物理动力学。
• 实现长时程预测并对未见形状和相互作用进行泛化。
• 将学习到的材料性质和层次推理结合起来，以提升相较基线的准确性。

提出的方法

• 将每个对象表示为一组粒子，形成一个层次图，以捕捉形状和材料变化。
• 使用三阶段的层次图卷积（Leaves-to-Ancestors, Within-Siblings, Ancestors-to-Descendants）以高效地传播效应。
• 为外力（phi_F）、碰撞（phi_C）和历史（phi_H）建立独立的神经模块，随后进行层次传播（eta）和状态预测器（psi）。
• 使用综合损失进行训练，结合局部（逐粒子）、全局（整体对象）和距离保持项，以加强物理约束。
• 使用基于粒子的环境（Unity3D中的NVIDIA FleX）生成训练数据，并从数据中学习材料关系，而非硬编码物理。

实验结果

研究问题

• RQ1 HRN 能否预测包含刚体、软体和可变形物体、以及复杂碰撞场景的未来状态？
• RQ2 相较于扁平图或 MLP 基线，层次图结构是否提升了精度和可扩展性？
• RQ3 HRN 对未见形状、材料和多对象相互作用的泛化能力有多强？
• RQ4 损失组件（局部/全局/保持）和多步输入对预测精度的影响是什么？

主要发现

• HRN 能准确处理复杂碰撞和非刚性变形，并生成合理的长时程动力学。
• 层次表示和三阶段传播在性能上优于包括 MLP、全连接图和非层次模型的基线。
• 消融实验显示层次结构、独立模块以及保持/全局损失对预测质量的重要性。
• HRN 能泛化到未见形状、材料和多对象场景，包括塔状和多米诺式布置。