[论文解读] Gradient Information and Regularization for Gene Expression Programming to Develop Data-Driven Physics Closure Models

Fabian Waschkowski, Haochen Li+6 more|arXiv (Cornell University)|Nov 22, 2022

Evolutionary Algorithms and Applications被引用 4

一句话总结

该论文通过整合基于梯度的优化和正则化方法，增强了基因表达编程（GEP），以开发出准确、可解释且可实现的物理闭合模型。通过引入可自适应的符号，利用非线性优化方法学习最优数值常数，并应用$L_2$正则化和一种自定义的复杂度度量，该方法在四个应用场景中（包括湍流和燃烧建模）显著提升了模型精度和收敛速度。

ABSTRACT

Learning accurate numerical constants when developing algebraic models is a known challenge for evolutionary algorithms, such as Gene Expression Programming (GEP). This paper introduces the concept of adaptive symbols to the GEP framework by Weatheritt and Sandberg (2016) to develop advanced physics closure models. Adaptive symbols utilize gradient information to learn locally optimal numerical constants during model training, for which we investigate two types of nonlinear optimization algorithms. The second contribution of this work is implementing two regularization techniques to incentivize the development of implementable and interpretable closure models. We apply $L_2$ regularization to ensure small magnitude numerical constants and devise a novel complexity metric that supports the development of low complexity models via custom symbol complexities and multi-objective optimization. This extended framework is employed to four use cases, namely rediscovering Sutherland's viscosity law, developing laminar flame speed combustion models and training two types of fluid dynamics turbulence models. The model prediction accuracy and the convergence speed of training are improved significantly across all of the more and less complex use cases, respectively. The two regularization methods are essential for developing implementable closure models and we demonstrate that the developed turbulence models substantially improve simulations over state-of-the-art models.

研究动机与目标

• 解决如GEP等进化算法中数值常数不准确的问题，该问题阻碍了可靠物理闭合模型的开发。
• 通过引入正则化技术控制模型复杂度和数值常数的大小，提升模型的可解释性和可实现性。
• 开发一种框架，结合符号回归的灵活性与基于梯度优化的精确性，实现数据驱动的模型发现。
• 在多种物理系统（包括流体动力学和燃烧）中展示该框架的有效性，生成的模型优于现有最先进方法。
• 通过自适应符号设计和超参数调优，降低对随机初始化的敏感性，实现稳健且稳定的训练。

提出的方法

• 在GEP中引入自适应符号，利用非线性优化（BFGS和Levenberg-Marquardt）的梯度信息，在训练过程中学习局部最优的数值常数。
• 实施$L_2$正则化以约束学习到的数值常数的大小，防止极端值影响模型稳定性。
• 提出一种基于自定义符号复杂度的新型复杂度度量，引导多目标优化向低复杂度、可解释的模型发展。
• 将扩展后的GEP框架应用于四个应用场景：Sutherland粘性定律、层流火焰速度建模，以及两种湍流闭合模型（SGS和NLEVM）。
• 采用混合训练策略，针对每个应用场景定制多个初始化、种群大小和最大运行时间，以确保收敛性和鲁棒性。
• 采用多目标优化平衡模型精度、复杂度和数值稳定性，正则化参数通过超参数研究进行调优。

实验结果

研究问题

• RQ1 与传统进化方法相比，基于梯度信息优化GEP中数值常数是否能提升模型精度和收敛速度？
• RQ2 $L_2$正则化在多大程度上减少了学习到的常数的大小，并增强了模型的稳定性和可实现性？
• RQ3 所提出的复杂度度量在引导发现低复杂度、可解释的闭合模型方面有多有效？
• RQ4 增强后的GEP框架是否能够重新发现已知物理定律（如Sutherland定律），并在复杂的湍流建模任务中超越现有模型？
• RQ5 不同的优化算法（BFGS与Levenberg-Marquardt）以及自适应符号数量如何影响训练的可靠性与性能？

主要发现

• 通过自适应符号实现基于梯度的优化，显著降低了所有应用场景的训练误差，并加快了收敛速度，其中每个标量函数使用五个自适应符号时性能最佳。
• 在NLEVM湍流模型中，$L_2$正则化（$λ = 10^{-7}$）将最大自适应符号大小从$8.55 \times 10^{17}$降低至$1.12 \times 10^{1}$，显著提升了数值稳定性。
• 采用$λ = 10^{-7}$的模型在测试集上的均方误差（MSE）为0.5770，尽管复杂度略有上升，但其稳定性和泛化能力优于未正则化的训练（$\text{MSE} = 0.5558$）。
• 使用自定义复杂度度量和多目标优化后，模型的$J_c$值更低，表明其可解释性更强且计算负担更小。
• 所开发的NLEVM湍流模型在模拟精度上显著优于现有最先进模型，证明了该框架在复杂流体动力学中的实际应用价值。
• 超参数研究确认，每个标量函数使用$n_p = 5$个自适应符号在性能与鲁棒性之间实现了最佳平衡，最小化了对随机初始化的敏感性。