[论文解读] Deep learning applied to computational mechanics: A comprehensive review, state of the art, and the classics

L. Vu‐Quoc, Alexander Humer|arXiv (Cornell University)|Dec 18, 2022

Computational Physics and Python Applications被引用 5

一句话总结

本综述将深度学习（DL）与计算力学相结合，涵盖求解偏微分方程（PDEs）的混合方法与纯机器学习方法、模型降阶以及数值积分。综述介绍了最先进的深度学习架构——LSTM、Transformer、PINNs——并详细阐述了优化技术、核方法及在固体力学与流体力学中的实际应用，强调了科学领域中人工智能局限性的可复现性与批判性分析。

ABSTRACT

Three recent breakthroughs due to AI in arts and science serve as motivation: An award winning digital image, protein folding, fast matrix multiplication. Many recent developments in artificial neural networks, particularly deep learning (DL), applied and relevant to computational mechanics (solid, fluids, finite-element technology) are reviewed in detail. Both hybrid and pure machine learning (ML) methods are discussed. Hybrid methods combine traditional PDE discretizations with ML methods either (1) to help model complex nonlinear constitutive relations, (2) to nonlinearly reduce the model order for efficient simulation (turbulence), or (3) to accelerate the simulation by predicting certain components in the traditional integration methods. Here, methods (1) and (2) relied on Long-Short-Term Memory (LSTM) architecture, with method (3) relying on convolutional neural networks. Pure ML methods to solve (nonlinear) PDEs are represented by Physics-Informed Neural network (PINN) methods, which could be combined with attention mechanism to address discontinuous solutions. Both LSTM and attention architectures, together with modern and generalized classic optimizers to include stochasticity for DL networks, are extensively reviewed. Kernel machines, including Gaussian processes, are provided to sufficient depth for more advanced works such as shallow networks with infinite width. Not only addressing experts, readers are assumed familiar with computational mechanics, but not with DL, whose concepts and applications are built up from the basics, aiming at bringing first-time learners quickly to the forefront of research. History and limitations of AI are recounted and discussed, with particular attention at pointing out misstatements or misconceptions of the classics, even in well-known references. Positioning and pointing control of a large-deformable beam is given as an example.

研究动机与目标

• 通过回顾求解PDEs的混合与纯机器学习方法以及降低仿真成本的方法，弥合深度学习与计算力学之间的鸿沟。
• 为不熟悉深度学习的计算力学研究人员提供从反向传播到现代优化器的深度学习基础的统一且易于理解的综述。
• 批判性审视人工智能中的误解与局限性，尤其关注可复现性、泛化能力以及对自适应优化器的过度夸大。
• 展示实际应用，包括基于LSTM的本构建模、基于自编码器的降阶模型（ROMs），以及引入注意力机制的物理信息神经网络（PINNs）。
• 通过强调透明度问题以及科学深度学习应用中可验证、可复现结果的必要性，倡导人工智能研究的方法严谨性。

提出的方法

• 使用长短期记忆（LSTM）网络对多孔介质中的率相关本构行为进行建模，并作为降阶模型中的时间积分器。
• 采用带注意力机制的物理信息神经网络（PINNs）求解非线性PDEs，尤其适用于具有不连续解的问题。
• 利用间隙数据的自编码器与超还原技术，在流体力学与固体力学中实现基于非线性流形的模型降阶（MOR）。
• 回顾并推导随机优化方法，包括带动量的随机梯度下降（SGD）、学习率衰减以及自适应方法（Adam、AdamW），并将其与模拟退火和随机微分方程联系起来。
• 引入核机与高斯过程（在无限宽度极限下），以支持先进的非参数建模与不确定性量化。
• 为优化算法提供详细的伪代码与推导，包括步长衰减与批量大小缩放，作为学习率衰减的替代方案。

实验结果

研究问题

• RQ1 如何将深度学习有效结合传统PDE求解器，以降低计算力学中的计算成本？
• RQ2 与经过仔细调优的SGD（带学习率衰减）相比，自适应优化器（如Adam）在基于物理的建模中的优势与局限性是什么？
• RQ3 注意力机制与Transformer架构在求解具有不连续性或陡峭梯度的PDEs方面有何改进？
• RQ4 基于深度学习训练的自编码器与降阶模型在流体力学与固体力学中在多大程度上可替代高保真度仿真？
• RQ5 为何人工智能研究中的可复现性——尤其是在科学应用中——因超参数与训练协议记录不全而受到严重损害？

主要发现

• LSTM网络能有效建模多尺度地质力学与流体填充多孔介质中复杂的率相关本构行为，从而实现高效的降阶仿真。
• 带注意力机制的PINNs能够处理PDE中的不连续解，在具有挑战性的流体动力学与固体力学问题中，其精度优于标准PINNs。
• 自适应优化器（如Adam）相较于经过仔细调校的SGD（带学习率衰减）在泛化能力上仅表现出微弱优势，这对其在科学深度学习中的广泛应用提出了质疑。
• 随机优化中的步长衰减在数学上等价于通过随机微分方程实现的模拟退火，表明增加批量大小可作为学习率衰减的替代方案以实现更优收敛。
• 可复现性因缺少关键超参数信息（如学习率、批量大小与优化器设置）而严重受损，这一问题在乳腺癌检测案例研究中尤为突出，其文档记录不足。
• 核机，包括无限宽度极限下的高斯过程，能提供稳健的不确定性估计，并为现代深度学习理论（尤其在非参数建模中）奠定基础。