[论文解读] Neural Network Layers for Prediction of Positive Definite Elastic Stiffness Tensors

Charles F. Jekel, Kenneth E. Swartz+3 more|arXiv (Cornell University)|Mar 25, 2022

Composite Material Mechanics被引用 5

一句话总结

本论文提出基于Cholesky分解和特征分解的可微分神经网络层，以在机器学习模型预测弹性刚度张量时强制输出对称正定（SPD）矩阵。通过集成这些SPD层（使用ReLU、softplus和指数等正性函数），模型可保证物理上有效的预测结果，实验表明在多项式、径向基函数和神经网络架构中，平均预测精度均有显著提升。

ABSTRACT

Machine learning models can be used to predict physical quantities like homogenized elasticity stiffness tensors, which must always be symmetric positive definite (SPD) based on conservation arguments. Two datasets of homogenized elasticity tensors of lattice materials are presented as examples, where it is desired to obtain models that map unit cell geometric and material parameters to their homogenized stiffness. Fitting a model to SPD data does not guarantee the model's predictions will remain SPD. Existing Cholsesky factorization and Eigendecomposition schemes are abstracted in this work as transformation layers which enforce the SPD condition. These layers can be included in many popular machine learning models to enforce SPD behavior. This work investigates the effects that different positivity functions have on the layers and how their inclusion affects model accuracy. Commonly used models are considered, including polynomials, radial basis functions, and neural networks. Ultimately it is shown that a single SPD layer improves the model's average prediction accuracy.

研究动机与目标

• 解决标准机器学习模型在SPD数据上训练后仍可能预测非SPD（非物理）弹性张量的问题。
• 开发通用型、可微分的层，强制输出SPD矩阵，且不引入额外可学习参数。
• 评估不同正性函数（如ReLU、softplus、指数函数）在强制SPD约束时对模型性能的影响。
• 在真实晶格材料数据集上，比较SPD层在不同代理模型（神经网络、多项式、径向基函数）中的有效性。
• 证明通过架构层强制SPD行为可提升预测精度，同时确保物理一致性。

提出的方法

• 提出两种SPD层：一种基于Cholesky分解，另一种基于特征分解，两者均旨在将无约束输出映射为对称正定矩阵。
• 对对角线元素（在Cholesky分解中）或特征值（在特征分解中）应用严格正的函数（如ReLU、softplus、指数函数），以强制实现正定性。
• 将SPD层作为可微分组件嵌入标准机器学习架构中，包括前馈神经网络、多项式回归和径向基函数网络。
• 使用有限元仿真生成晶格单元胞的均质弹性张量训练数据集（实心和空心桁架结构），确保真实值为SPD矩阵。
• 采用标准训练协议，使用80/20、50/50和10/90的训练-测试划分，评估不同数据分布下的泛化能力。
• 通过多次运行评估模型性能，指标包括平均测试误差（μ）、标准差（σ）和95%预测区间（P=0.95）。

实验结果

研究问题

• RQ1 仅在SPD数据上进行训练是否能保证模型预测结果仍保持对称正定？
• RQ2 不同正性函数（ReLU、softplus、指数函数）如何影响SPD强制层的训练稳定性和准确性？
• RQ3 SPD层在多大程度上提升了代理模型对弹性张量的预测精度？
• RQ4 SPD层在不同模型类型（如神经网络、多项式、RBF）中的有效性有何差异？
• RQ5 SPD层带来的性能增益是否随训练数据量或模型复杂度而变化？

主要发现

• 仅将模型拟合于SPD数据并不能保证预测结果保持SPD，证实了架构层面强制的必要性。
• 无论何种模型类型和数据集，引入基于Cholesky或基于特征分解的SPD层均一致提升了预测精度。
• 在3D空心桁架数据集中，采用特征分解SPD层的二次多项式模型实现了最大的精度提升，平均测试误差从无SPD层时的0.00155降至0.00044。
• 无SPD层的神经网络已达到较高精度（平均测试误差≈0.00009），但引入SPD层后进一步提升至0.00004–0.00006，证实其在高性能模型中仍具显著优势。
• ReLU函数在所有正性函数中表现最差，导致平均精度较低且方差较大，可能由于训练期间梯度传播不佳。
• 在所有测试划分（80/20、50/50、10/90）中，SPD层均保持了性能提升，尤其在低数据场景（10%训练数据）中增益最大，表明其对数据稀缺具有鲁棒性。