[论文解读] Explaining the physics of transfer learning a data-driven subgrid-scale closure to a different turbulent flow

Adam Subel, Yifei Guan+2 more|arXiv (Cornell University)|Jun 7, 2022

Model Reduction and Neural Networks被引用 10

一句话总结

本文提出一种物理信息框架，用于解释湍流模拟中数据驱动亚格子尺度（SGS）建模的迁移学习（TL）机制。通过结合系统数据的谱分析与卷积神经网络（CNN）激活值和卷积核的谱分解，作者发现TL学习到了新的滤波响应——低通、带通和高通响应，且与基础系统和目标系统之间的谱差异一致，并识别出浅层为最优微调层，这与传统机器学习的直觉相反。

ABSTRACT

Transfer learning (TL) is becoming a powerful tool in scientific applications of neural networks (NNs), such as weather/climate prediction and turbulence modeling. TL enables out-of-distribution generalization (e.g., extrapolation in parameters) and effective blending of disparate training sets (e.g., simulations and observations). In TL, selected layers of a NN, already trained for a base system, are re-trained using a small dataset from a target system. For effective TL, we need to know 1) what are the best layers to re-train? and 2) what physics are learned during TL? Here, we present novel analyses and a new framework to address (1)-(2) for a broad range of multi-scale, nonlinear systems. Our approach combines spectral analyses of the systems' data with spectral analyses of convolutional NN's activations and kernels, explaining the inner-workings of TL in terms of the system's nonlinear physics. Using subgrid-scale modeling of several setups of 2D turbulence as test cases, we show that the learned kernels are combinations of low-, band-, and high-pass filters, and that TL learns new filters whose nature is consistent with the spectral differences of base and target systems. We also find the shallowest layers are the best to re-train in these cases, which is against the common wisdom guiding TL in machine learning literature. Our framework identifies the best layer(s) to re-train beforehand, based on physics and NN theory. Together, these analyses explain the physics learned in TL and provide a framework to guide TL for wide-ranging applications in science and engineering, such as climate change modeling.

研究动机与目标

• 解决在科学机器学习应用中，选择最优微调层这一迁移学习（TL）关键挑战。
• 解释非线性、多尺度系统（如湍流）中迁移学习的物理机制。
• 构建一个框架，将系统数据的谱特性与神经网络层中学习到的滤波响应相联系，以指导迁移学习。
• 挑战传统机器学习观念，即深层网络更适合微调，通过证明在SGS建模中浅层表现更优来反驳。
• 通过数据驱动的闭合方法，实现气候建模和湍流模拟等科学应用中的鲁棒分布外泛化。

提出的方法

• 对基础系统和目标系统的湍流流动数据进行谱分析，以表征其在波数空间的能量分布。
• 对CNN层的激活值和卷积核应用谱分解，分析训练网络中频率滤波行为（低通、带通、高通）。
• 利用傅里叶变换，将每层输出的谱响应表示为输入谱、核谱以及ReLU激活效应的函数。
• 通过随机方向和Hessian方向构建二维损失景观，评估目标系统中选定层的微调动力学。
• 比较不同微调层（如浅层与深层）的谱响应和损失景观形状，以确定最优微调策略。
• 整合神经网络理论与谱滤波的理论洞见，解释TL如何通过核重配置适应新系统物理特性。

实验结果

研究问题

• RQ1 在预训练CNN中，哪些层在湍流SGS建模的迁移学习中对微调最有效？
• RQ2 从具有不同谱特性的基础湍流系统向目标系统迁移知识的物理机制是什么？
• RQ3 在迁移学习过程中，卷积核的谱响应（滤波行为）如何变化？其是否与基础系统和目标系统之间的谱差异一致？
• RQ4 为何在湍流建模中，浅层常优于深层网络进行迁移学习，这与深度学习中的普遍实践相反？
• RQ5 对网络激活值和核的谱分析，能否预测在多尺度、非线性系统中迁移学习的成功？

主要发现

• TLNN中微调后的卷积核表现出低通、带通和高通滤波特性的组合，这与基础系统和目标系统之间的谱差异在物理上一致。
• 浅层——与传统深度学习直觉相反——在SGS建模中是最有效的微调层，因其对目标系统的谱适应最显著且具有明确的物理解释。
• 对网络激活值的谱分析表明，线性变换（通过更新权重实现）主导了谱响应的变化，而非线性ReLU激活效应则居次要地位，除非在特定情况下。
• 损失景观分析表明，对浅层进行微调可在参数空间中产生更平坦、更凸的区域，表明迁移学习过程中收敛更简单且更稳定。
• 该框架通过系统数据与网络滤波响应之间的谱对齐，成功预测了最优微调层，从而在科学应用中实现有根据的迁移学习设计。
• 在二维湍流设置中，仅使用原始训练数据的1%（来自更高雷诺数的目标系统），TLNN即实现了稳定且准确的后处理大涡模拟，证明了其在分布外泛化方面的有效性。