[论文解读] Incorporating Symmetry into Deep Dynamics Models for Improved Generalization

Rui Wang, Robin Walters+1 more|arXiv (Cornell University)|Feb 8, 2020

Model Reduction and Neural Networks参考文献 51被引用 82

一句话总结

本文提出了等变神经网络，在深度动力学模型中强制物理对称性（平移、旋转、匀速运动、缩放），以在预测湍流流动和海洋数据时提高泛化能力和物理一致性。

ABSTRACT

Recent work has shown deep learning can accelerate the prediction of physical dynamics relative to numerical solvers. However, limited physical accuracy and an inability to generalize under distributional shift limit its applicability to the real world. We propose to improve accuracy and generalization by incorporating symmetries into convolutional neural networks. Specifically, we employ a variety of methods each tailored to enforce a different symmetry. Our models are both theoretically and experimentally robust to distributional shift by symmetry group transformations and enjoy favorable sample complexity. We demonstrate the advantage of our approach on a variety of physical dynamics including Rayleigh Bénard convection and real-world ocean currents and temperatures. Compared with image or text applications, our work is a significant step towards applying equivariant neural networks to high-dimensional systems with complex dynamics. We open-source our simulation, data, and code at \url{https://github.com/Rose-STL-Lab/Equivariant-Net}.

研究动机与目标

• 激发对物理系统深度动力学预测更好泛化的需求。
• 开发对关键物理对称性等变的神经网络架构。
• 在湍流和海洋数据集上展示改进的泛化和物理一致性。

提出的方法

• 将 f 公式化为对称群 G 的 G-等变，使得 f(gx)=g f(x)。
• 在 ResNet 与 U-net 中使用群表示构建等变卷积（平移、旋转通过 E(2)-CNN、通过输入居中/平移技巧实现匀速运动、通过对缩放群的群相关实现尺度变换）。
• 实现尺度等变方法，包括幅度（分辨率无关）缩放和分辨率相关的群相关。
• 提供等变性的理论保证并讨论在何时数据增强是冗余的。
• 在 Rayleigh–Bénard 对流和真实海洋洋流/温度数据上进行评估，衡量 RMSE 和 能量谱误差（ESE）。

实验结果

研究问题

• RQ1 将对称性嵌入卷积神经网络架构是否能提高高维物理动力学的预测精度？
• RQ2 在平移、旋转、匀速运动、缩放等变换引起的分布转变下，等变模型的泛化能力是否优于非等变基线？
• RQ3 当物理定律耦合时空与量级，尺度相关对称性如何影响预测？
• RQ4 等变性对湍流和海洋中的物理一致性指标（如能量谱）的影响是什么？

主要发现

• 等变模型相比非等变基线表现出更低的等变误差和改进的物理一致性。
• 在模拟的 Rayleigh–Bénard 对流中，Equ-ResNet/Unet 模型在变换后的测试集上保持准确性，并在 RMSE 和 ESE 上超越数据增强基线。
• 尺度等变（包括放大/缩小）和基于旋转的等变性在分布转变下显著提升泛化，在各测试中降低 RMSE 和 ESE。
• 在海洋洋流数据集上，未进行数据增强训练的等变模型在 RMSE 和 ESE 上的表现优于或达到带数据增强的基线。