[論文レビュー] Extreme sparsification of physics-augmented neural networks for interpretable model discovery in mechanics

Jan N. Fuhg, Reese E. Jones+1 more|arXiv (Cornell University)|Oct 5, 2023

Model Reduction and Neural NetworksPhysics and Astronomy被引用数 3

ひとこと要約

本稿では、熱力学的整合性を保ちながら、データ適合性とパラメータのスパarsityを同時に最適化する smoothed L⁰-正則化 を用いて、固体力学における解釈可能で信頼性の高い構成則モデルの発見を目的とした、物理学的に拡張されたニューラルネットワークの極端なスパース化手法を提案する。この手法により、超弾性、降伏関数、加工硬化則のコンactかつ人間が読みやすい関数形が得られ、合成データおよび実験データの両方で高い精度と優れた外挿性能を示した。

ABSTRACT

Data-driven constitutive modeling with neural networks has received increased interest in recent years due to its ability to easily incorporate physical and mechanistic constraints and to overcome the challenging and time-consuming task of formulating phenomenological constitutive laws that can accurately capture the observed material response. However, even though neural network-based constitutive laws have been shown to generalize proficiently, the generated representations are not easily interpretable due to their high number of trainable parameters. Sparse regression approaches exist that allow to obtaining interpretable expressions, but the user is tasked with creating a library of model forms which by construction limits their expressiveness to the functional forms provided in the libraries. In this work, we propose to train regularized physics-augmented neural network-based constitutive models utilizing a smoothed version of $L^{0}$-regularization. This aims to maintain the trustworthiness inherited by the physical constraints, but also enables interpretability which has not been possible thus far on any type of machine learning-based constitutive model where model forms were not assumed a-priory but were actually discovered. During the training process, the network simultaneously fits the training data and penalizes the number of active parameters, while also ensuring constitutive constraints such as thermodynamic consistency. We show that the method can reliably obtain interpretable and trustworthy constitutive models for compressible and incompressible hyperelasticity, yield functions, and hardening models for elastoplasticity, for synthetic and experimental data.

研究の動機と目的

• 高い表現力と一般化能力を有するが解釈不能なデータ駆動型ニューラルネットワーク構成則モデルの欠如を克服すること。
• 関数の表現力を制限する事前定義されたモデル形式ライブラリを必要としないスパース回帰手法からの代替を提供すること。
• 正則化による物理的制約とパラメータのスパarsityを組み合わせることで、信頼性があり外挿可能な構成則モデリングを可能にすること。
• 限られた実験的または合成データから、解釈可能で物理的に整合性のある構成則を自動で発見すること。
• 高容量のニューラルネットワークと、解釈可能で人間が読める数学的表現との間のギャップを埋めること。

提案手法

• 訓練中に活性パラメータの数をペナルティ化するため、L⁰-正則化の滑らかな近似を用いて極端なスパarsityを促進する。
• 物理的に拡張されたニューラルネットワークを、訓練データへの適合と非ゼロパラメータ数の最小化を同時に最適化するように訓練することで、モデルの単純性を確保する。
• 熱力学的整合性、客観性、材料対称性を、ネットワークアーキテクチャと損失関数の設計段階で強制する。
• ニューロンごとに1つの非線形活性化関数を用い、滑らかな L⁰ ペナルティに従ってプルーニングを行い、必要なパラメータのみを保持する。
• 最終的なモデルは、解釈可能で有限要素ソルバに直接組み込めるスパースかつ明示的な関数形式として抽出される。
• 本手法は、合成データおよび実験データを用いて、超弾性、降伏関数、および等方的加工硬化モデルに適用された。

実験結果

リサーチクエスチョン

• RQ1 物理学的に拡張されたニューラルネットワークの極端なスパース化は、事前関数形式の仮定なしに解釈可能な構成則モデルを生成できるか？
• RQ2 特にデータが少ない状況下で、このような手法の一般化性能および外挿性能はどの程度高いか？
• RQ3 物理的制約の強制が、スパースでデータ駆動型モデルにおける一般化性能の向上と過学習の低減にどの程度寄与するか？
• RQ4 本手法は、弾塑性加工硬化のような複雑な材料挙動について、コンパクトで人間が読める関数形式を発見できるか？
• RQ5 解釈可能性と精度の観点から、滑らかな L⁰-正則化は、従来のプルーニングやスパース回帰手法に比べて優れているか？

主な発見

• 本手法は、合成データにおいて、圧縮性および非圧縮性超弾性の解釈可能な構成則モデルを高い精度で発見した。
• 実験的SS316Lステンレス鋼のデータに対して、R(r) = 0.023 + 1.662/(1+1.071e^(-190.683r)) + 0.362/(1+1.071e^(-2200.640r)) の形の加工硬化関数を取得し、r=0 で加工硬化がないことを示した。
• 40Cr3MoVバニスティック鋼のデータに対しては、3つの活性項を有する複雑だが解釈可能な加工硬化関数を生成し、正確な内挿および外挿を達成した。
• 訓練の過程で損失関数と活性パラメータ数が単調に減少したため、安定した収束と効果的なスパarsity誘導が確認された。
• 物理的制約の強制により、データが限られた状況下でも、訓練歪み範囲を超えた信頼性の高い一般化が可能であった。
• 最終的なスパースモデルはコンパクトで解析的に表現可能であり、既存の有限要素フレームワークへの直接統合が可能であった。