[论文解读] Disentangling Physical Dynamics from Unknown Factors for Unsupervised Video Prediction

Vincent Le Guen, Nicolas Thome|arXiv (Cornell University)|Mar 3, 2020

Generative Adversarial Networks and Image Synthesis被引用 45

一句话总结

PhyDNet 引入了一个两分支潜在结构，将基于 PDE 的物理动态与残差信息分离，用于无监督视频预测，采用新颖的 PhyCell，并在四个通用数据集上达到最先进的结果。

ABSTRACT

Leveraging physical knowledge described by partial differential equations (PDEs) is an appealing way to improve unsupervised video prediction methods. Since physics is too restrictive for describing the full visual content of generic videos, we introduce PhyDNet, a two-branch deep architecture, which explicitly disentangles PDE dynamics from unknown complementary information. A second contribution is to propose a new recurrent physical cell (PhyCell), inspired from data assimilation techniques, for performing PDE-constrained prediction in latent space. Extensive experiments conducted on four various datasets show the ability of PhyDNet to outperform state-of-the-art methods. Ablation studies also highlight the important gain brought out by both disentanglement and PDE-constrained prediction. Finally, we show that PhyDNet presents interesting features for dealing with missing data and long-term forecasting.

研究动机与目标

• 激励利用先验物理知识来提升无监督视频预测。
• 提出一个两分支潜在架构，将物理动态与残留因素分离。
• 引入 PhyCell，一种在潜在空间中对 PDE 进行离散化以用于预测的递归单元。
• 通过预测-校正机制实现鲁棒的长期预测并处理缺失数据。

提出的方法

• 将输入帧编码到潜在空间 H，通过编码器 E。
• 两条并行递归分支：PhyCell 建模物理动态（PDE 约束）和 ConvLSTM 建模残差动态。
• 物理动态在 PhyCell 中通过前向欧拉法离散化，使用一个学习的导数算子近似 PDE 项。
• 一个校正项控制观测数据的影响，形成类似数据同化的预测-校正机制。
• 潜在表示 h = h^p + h^r 被解码以预测未来帧。
• 联合训练优化图像重建损失和一个矩损失，约束学习到的 PDE 导数成为合理的微分算子。

实验结果

研究问题

• RQ1 潜在空间能否将基于 PDE 的物理动态与残留信息分离，以提升无监督视频预测的效果？
• RQ2 潜在空间中的 PDE 约束预测是否在准确性和鲁棒性上优于纯数据驱动模型？
• RQ3 所提出的 PhyCell 如何与残差 ConvLSTM 分支交互，以优化多步预测？
• RQ4 预测-校正机制是否有助于处理缺失数据和视频预测中的长期预测？

主要发现

• PhyDNet 在四个通用数据集（Moving MNIST、Traffic BJ、Sea Surface Temperature、Human 3.6）上超越了最先进的基线方法。
• 单层 PhyCell 已在跨数据集的均方误差（MSE）方面超过三层 ConvLSTM，同時使用的参数远少于它。
• 将物理动态与残留因素分离在所有数据集上都带来稳定的性能提升（例如，在 MSE 上相对于基于 ConvLSTM 的模型有显著提升）。
• 预测-校正机制使得在缺失数据情况下的训练更鲁棒，并改善长期预测的稳定性。
• 通过 PDE 启发的约束进行物理正则化在与学习的残差因素平衡时有益；但过于严格使用矩损失可能降低性能，适当整合则能提升结果。
• 消融实验表明物理建模与分离共同推动了最佳性能。