[论文解读] Approximately Equivariant Networks for Imperfectly Symmetric Dynamics

Rui Wang, Robin Walters+1 more|arXiv (Cornell University)|Jan 28, 2022

Model Reduction and Neural Networks被引用 11

一句话总结

本文提出了近似等变网络，通过放宽神经网络中严格的对称性约束，以更好地建模具有非完美对称性的现实世界动力学。通过推广群卷积和可导向卷积中的权重重用机制，该方法在模拟烟雾和真实喷流数据上的表现优于严格等变和非等变模型，展示了在非完美对称设置下更强的泛化能力和鲁棒性。

ABSTRACT

Incorporating symmetry as an inductive bias into neural network architecture has led to improvements in generalization, data efficiency, and physical consistency in dynamics modeling. Methods such as CNNs or equivariant neural networks use weight tying to enforce symmetries such as shift invariance or rotational equivariance. However, despite the fact that physical laws obey many symmetries, real-world dynamical data rarely conforms to strict mathematical symmetry either due to noisy or incomplete data or to symmetry breaking features in the underlying dynamical system. We explore approximately equivariant networks which are biased towards preserving symmetry but are not strictly constrained to do so. By relaxing equivariance constraints, we find that our models can outperform both baselines with no symmetry bias and baselines with overly strict symmetry in both simulated turbulence domains and real-world multi-stream jet flow.

研究动机与目标

• 解决现有等变网络假设完美对称性的局限性，而这种完美对称性在现实世界动力系统中很少成立。
• 将近似等变性的概念形式化，作为无归纳偏置与过度刚性对称性约束之间的中间方案。
• 开发一种灵活的框架，在保留有益归纳偏置的同时，允许在存在噪声或边界效应等对称性破缺因素时保持模型表达能力。
• 在非完美对称动力学中展示改进的预测性能，特别是在流体流动预测方面。
• 提供一种可推广的松弛机制，适用于多种对称群，包括 SO(2)、R>0 和 E(2)。

提出的方法

• 提出近似等变性的正式定义，使其在严格等变性和无对称性偏置之间实现插值。
• 通过将卷积核表示为多个滤波器组的加权组合，放宽群卷积中的权重重用，实现部分对称性强制。
• 在可导向CNN中引入输入相关的核基学习，以实现对称行为的动态自适应。
• 将松弛后的权重重用应用于多种对称群：旋转（SO(2)）、缩放（R>0）和欧几里得（E(2)）变换。
• 通过在残差路径上施加软先验来训练模型，以平衡对称性偏置与模型灵活性。
• 使用可学习的松弛机制，使网络能够自动从数据中学习适当的对称性程度。

实验结果

研究问题

• RQ1 放松严格等变性约束是否能提升在具有非完美对称性的现实世界动力系统中的泛化能力和预测准确性？
• RQ2 在非完美对称数据上，近似等变性与严格等变模型和非等变模型相比，其预测性能如何？
• RQ3 所提出的松弛机制是否能在不同对称群（如旋转、缩放和欧几里得变换）之间实现泛化？
• RQ4 模型是否能自动从数据中学习适当的对称性水平，而无需事先了解对称性破缺因素？
• RQ5 在多个对称性上同时应用松弛是否能带来进一步的性能提升？

主要发现

• 所提出的近似等变网络在模拟烟雾羽流数据上的表现优于严格等变模型和非等变基线模型，在速度场预测中实现了更低的平均绝对误差（MAE）。
• 在真实实验喷流数据上，松弛后的可导向CNN和松弛后的群卷积模型达到了最低的RMSE，其中RSteerTR（组合松弛）模型优于单一松弛和完全等变模型。
• 在喷流实验中，松弛模型相比最佳基线模型将RMSE降低了最多15%，显示出在现实世界应用中的显著优势。
• 该方法在合成和现实世界流体动力学基准测试中均取得了最先进性能，尤其在存在边界条件和缺失数据等对称性破缺效应的场景中表现突出。
• 海洋动力学实验表明，经过微调后所有模型的性能相似，表明在对称性本身已微弱或自然近似的系统中，严格或近似旋转对称性可能并不具备优势。
• 消融实验确认，同时放松多个对称性约束（如平移、旋转、缩放）可获得优于仅放松单一约束的性能提升。