[论文解读] Deep Learning for Physical Processes: Incorporating Prior Scientific Knowledge

Emmanuel de Bézenac, Arthur Pajot+1 more|arXiv (Cornell University)|Nov 21, 2017

Model Reduction and Neural Networks参考文献 42被引用 249

一句话总结

该论文提出一种深度学习架构，通过学习一个由对流扩散物理驱动的运动场实现海表温度（SST）的预测，使端到端训练可通过可微分扭曲实现，并与数值方法和神经网络基线进行比较。

ABSTRACT

We consider the use of Deep Learning methods for modeling complex phenomena like those occurring in natural physical processes. With the large amount of data gathered on these phenomena the data intensive paradigm could begin to challenge more traditional approaches elaborated over the years in fields like maths or physics. However, despite considerable successes in a variety of application domains, the machine learning field is not yet ready to handle the level of complexity required by such problems. Using an example application, namely Sea Surface Temperature Prediction, we show how general background knowledge gained from physics could be used as a guideline for designing efficient Deep Learning models. In order to motivate the approach and to assess its generality we demonstrate a formal link between the solution of a class of differential equations underlying a large family of physical phenomena and the proposed model. Experiments and comparison with series of baselines including a state of the art numerical approach is then provided.

研究动机与目标

• 概述通用物理知识如何为复杂传输现象的深度学习模型设计提供指导。
• 提出一个神经网络架构，联合估计运动场并扭曲最后一个输入帧以预测 SST。
• 展示模型与对流扩散偏微分方程解之间的形式联系。
• 与数值同化方法和神经网络基线进行对比，以评估竞争力与效率。

提出的方法

• 引入一个两组件模型：卷积-反卷积网络（CDNN）用于估计像素级的运动场，及一个可微分扭曲模块来预测下一个 SST 图像。
• 使用以前一像素位置为中心、基于高斯核的核对最后一幅输入图像进行扭曲以获得 I_{t+1}（受对流扩散启发）。
• 通过最小化扭曲预测与真实下一帧之间的差异来实现端到端训练，使用 Charbonnier 损失，并在损失中对运动场施加可选的正则化项（散度、幅值和梯度）。
• 提供与对流扩散方程的形式联系：I(x,t) = ∫ k(x-w,y) I0(y) dy，其中 k 为高斯核，将该架构在物理学中扎根。
• 通过将预测图像回送到网络，实现自回归的多步预测。
• 讨论该方法如何扩展到受对流扩散支配的传输问题。

实验结果

研究问题

• RQ1 现代深度学习技术是否能如同传统的基于 PDE 的方法一样有效地建模复杂的物理传输现象？
• RQ2 如何将先验的物理知识纳入深度学习架构以改善 SST 预测？
• RQ3 学习到的运动场与潜在的对流扩散动力学之间的关系是什么？
• RQ4 基于物理的可微分扭曲机制是否能与最先进的数值模型及其他 NN 基线在 SST 预测中具有竞争力？

主要发现

• 所提出的正则化模型在测试模型中对 SST 预测的平均平方误差（MSE）方面达到最佳。
• 对运动场进行正则化（散度、幅值、光滑性）比未正则化版本有性能提升。
• 带正则化的模型达到平均 MSE 1.42，运行时间 0.040 s，优于数值模型 1.99（4.8 s）及其他 NN 基线。
• 与 ConvLSTM（MSE 5.76，0.018 s）和 ACNN（MSE 15.84，0.54 s）相比，所提方法更准确且仍然快速。
• 基于 GAN 的基线（Mathieu 等，2015）实现 4.73 MSE（0.096 s），但仍不及正则化模型。
• 该方法产生可解释的运动场，反映 SST 的对流扩散动力学。