[论文解读] 3D-PhysNet: Learning the Intuitive Physics of Non-Rigid Object Deformations

Zhihua Wang, Stefano Rosa+4 more|arXiv (Cornell University)|Apr 25, 2018

Human Pose and Action Recognition参考文献 19被引用 9

一句话总结

3D-PhysNet 提出了一种条件变分自编码器-生成对抗网络（cVAE-GAN）架构，能够从单个2.5D深度图像中预测物体的3D非刚性形变，条件输入为材料弹性、施加力等连续物理属性。该方法实现了实时推理，在不同材料、形状和受力条件下具有出色的泛化能力，其速度远超有限元法（FEM）模拟，同时在合成数据和真实世界数据上保持了优异的准确性。

ABSTRACT

The ability to interact and understand the environment is a fundamental prerequisite for a wide range of applications from robotics to augmented reality. In particular, predicting how deformable objects will react to applied forces in real time is a significant challenge. This is further confounded by the fact that shape information about encountered objects in the real world is often impaired by occlusions, noise and missing regions e.g. a robot manipulating an object will only be able to observe a partial view of the entire solid. In this work we present a framework, 3D-PhysNet, which is able to predict how a three-dimensional solid will deform under an applied force using intuitive physics modelling. In particular, we propose a new method to encode the physical properties of the material and the applied force, enabling generalisation over materials. The key is to combine deep variational autoencoders with adversarial training, conditioned on the applied force and the material properties. We further propose a cascaded architecture that takes a single 2.5D depth view of the object and predicts its deformation. Training data is provided by a physics simulator. The network is fast enough to be used in real-time applications from partial views. Experimental results show the viability and the generalisation properties of the proposed architecture.

研究动机与目标

• 在机器人和增强现实应用中，实现实时预测3D非刚性物体形变，输入为部分深度视图。
• 利用连续实值条件输入（如材料属性和受力参数）建模可变形物体对外部力的物理响应。
• 在无需针对每种材料进行微调的情况下，实现对多样化材料、形状和受力配置的泛化。
• 克服传统FEM模拟的局限性，后者需要完整的网格数据，且计算成本过高，难以实现实时应用。
• 开发一种级联架构，先从不完整视图重建3D形状，再预测形变，从而提升对不完整输入的鲁棒性。

提出的方法

• 核心架构结合了条件变分自编码器（cVAE）与生成对抗网络（GAN），在解耦且结构化的潜在空间中建模形变预测。
• 物理条件（如材料弹性、力的大小和作用位置）被编码为连续实值向量，实现对物理参数的细粒度泛化。
• 采用级联流水线：首先使用3D重建生成对抗网络（3D-RecGAN）从部分深度视图重建完整3D形状，随后由3D-PhysNet进行形变预测。
• 训练基于由FEM物理模拟器生成的合成数据，实现大规模、多样化且精确的监督。
• GAN中的判别器学习高层次特征相似性度量，提升预测形变的真实感与结构保真度。
• 力的作用位置通过独热编码或连续实数编码，消融实验表明连续编码能更好地泛化到未见过的力作用位置。

实验结果

研究问题

• RQ1 深度学习模型能否在仅输入单个部分深度视图的情况下，以高精度和跨材料、形状的泛化能力预测3D非刚性形变？
• RQ2 与基于离散类别的条件输入相比，使用连续物理参数（如弹性、力的大小、作用位置）在泛化能力和性能上表现如何？
• RQ3 在输入视图不完整的情况下，级联架构在形变预测中的改进程度如何？
• RQ4 该模型在未见过的物体类别和训练中未见的真实世界深度图像上的泛化能力如何？
• RQ5 该模型能否在保持与FEM模拟相当保真度的同时实现实时推理速度？

主要发现

• 在尺度变化的泛化测试中，模型平均交并比（IOU）达到0.98，表明对物体尺寸变化具有极强的鲁棒性。
• 在力的大小和作用位置的泛化方面，连续编码力作用位置的IOU为0.9，而独热编码为0.95，表明连续条件输入能更好地泛化到未见过的力作用位置。
• 级联架构（Cascaded-3D-PhysNet）收敛更快且性能更优，得益于初始3D-RecGAN阶段提供的更高质量3D重建。
• 模型能有效泛化到未见过的物体类别：即使仅在圆柱形物体上进行训练，也能成功预测包括玩具和复杂几何体在内的多样化未见形状的形变。
• 在真实世界Microsoft Kinect采集的深度图像上，定性结果表明模型能预测出合理的形变，包括肢体、脚部等结构特征，即使输入为简单原始体。
• 推理速度比等效的FEM模拟快超过1,000倍，支持在时间敏感应用中实现实时部署。