[论文解读] Deep transfer operator learning for partial differential equations under conditional shift

Somdatta Goswami, Katiana Kontolati+2 more|arXiv (Cornell University)|Apr 20, 2022

Model Reduction and Neural Networks被引用 6

一句话总结

该论文提出了一种新颖的迁移学习框架，用于在条件分布偏移下求解偏微分方程（PDEs），采用DeepONet方法，通过将来自源域（具有丰富标注数据）的知识迁移至目标域（标注数据有限）来实现。通过结合回归损失与条件分布差异（基于希尔伯特-施密特独立性准则）的混合损失函数对特定任务层进行微调，该方法在存在分布偏移的情况下仍能实现准确且鲁棒的PDE解预测，显著提升了科学机器学习中的样本效率与泛化能力。

ABSTRACT

Transfer learning (TL) enables the transfer of knowledge gained in learning to perform one task (source) to a related but different task (target), hence addressing the expense of data acquisition and labeling, potential computational power limitations, and dataset distribution mismatches. We propose a new TL framework for task-specific learning (functional regression in partial differential equations (PDEs)) under conditional shift based on the deep operator network (DeepONet). Task-specific operator learning is accomplished by fine-tuning task-specific layers of the target DeepONet using a hybrid loss function that allows for the matching of individual target samples while also preserving the global properties of the conditional distribution of target data. Inspired by the conditional embedding operator theory, we minimize the statistical distance between labeled target data and the surrogate prediction on unlabeled target data by embedding conditional distributions onto a reproducing kernel Hilbert space. We demonstrate the advantages of our approach for various TL scenarios involving nonlinear PDEs under diverse conditions due to shift in the geometric domain and model dynamics. Our TL framework enables fast and efficient learning of heterogeneous tasks despite significant differences between the source and target domains.

研究动机与目标

• 解决在目标域标注数据有限的情况下，训练深度算子网络求解PDE时面临的数据稀缺问题。
• 实现从具有丰富标注数据的源域向相关但分布发生偏移的目标域的有效知识迁移。
• 在确保对单个目标样本实现准确预测的同时，保持目标条件分布的全局统计特性。
• 开发一种在条件分布偏移下实现高精度算子学习的同时，计算成本保持较低的方法。
• 将迁移学习扩展至科学机器学习中的函数回归任务，特别是针对具有几何与动态偏移的非线性PDE。

提出的方法

• 该框架使用在源域上预训练的DeepONet作为主干网络，将其参数迁移至目标域模型。
• 仅对分支网络的最后全连接层以及主干网络的最后一层进行微调，以保留通用特征并降低训练成本。
• 采用混合损失函数：一项回归损失用于匹配标注的目标数据，另一项条件嵌入算子距离（CEOD）损失用于最小化标注与未标注目标数据之间的统计差异。
• CEOD损失通过再生核希尔伯特空间中估计的标注与未标注目标数据条件分布之间的希尔伯特-施密特范数来度量。
• 损失权重（λ₁ 和 λ₂）为可学习参数，并在反向传播过程中更新，其中λ₂初始设为10以优先考虑分布对齐。
• 该方法利用条件嵌入算子理论，确保模型不仅学习到逐点精度，还学习到目标数据的潜在条件结构。

实验结果

研究问题

• RQ1 当仅有少量标注的目标样本可用时，迁移学习能否提升DeepONet在求解PDE时的样本效率？
• RQ2 迁移学习框架如何在实现单个样本准确预测的同时，保持目标条件分布的全局统计结构？
• RQ3 结合回归与分布差异的混合损失在PDE学习中条件偏移下的泛化能力提升程度如何？
• RQ4 在具有几何与动态偏移的多种PDE上，所提方法与标准微调或迁移学习基线相比，在准确率与鲁棒性方面表现如何？
• RQ5 所提框架能否有效处理源域与目标域间存在显著分布偏移的非线性PDE？

主要发现

• 所提出的TL-DeepONet框架在目标PDE上的预测误差显著低于标准微调方法，尤其在标注数据稀缺时表现更优。
• 采用可学习λ₂的混合损失可实现条件分布的渐进对齐，减少过拟合并提升泛化能力。
• 即使在显著的条件偏移下（包括域几何与模型动态的变化），该方法仍能保持高精度。
• 该框架在分布偏移下对非线性PDE（如纳维-斯托克斯方程与阿伦-卡恩方程）表现出卓越性能。
• 通过CEOD损失实现的条件分布匹配，使未标注目标数据的预测更加鲁棒，提升了不确定性量化中的可靠性。
• 代码与数据集生成脚本已公开发布于GitHub，支持可复现性与进一步基准测试。