[論文レビュー] Neural Networks for Constitutive Modeling -- From Universal Function Approximators to Advanced Models and the Integration of Physics

Johannes Dornheim, Lukas Morand+2 more|arXiv (Cornell University)|Feb 28, 2023

Drilling and Well EngineeringEngineering被引用数 3

ひとこと要約

この論文は、材料科学におけるニューラルネットワークベースの挙動則モデル化をレビューし、汎用関数近似器から物理統合型モデルまでを分類している。機械学習が複雑な材料挙動の高速かつ高精度な補間モデルを可能にする一方で、外挿、解釈可能性、誤差蓄積といった課題に対し、物理的制約や高度なアーキテクチャを用いることで対処していることを強調している。

ABSTRACT

Analyzing and modeling the constitutive behavior of materials is a core area in materials sciences and a prerequisite for conducting numerical simulations in which the material behavior plays a central role. Constitutive models have been developed since the beginning of the 19th century and are still under constant development. Besides physics-motivated and phenomenological models, during the last decades, the field of constitutive modeling was enriched by the development of machine learning-based constitutive models, especially by using neural networks. The latter is the focus of the present review, which aims to give an overview of neural networks-based constitutive models from a methodical perspective. The review summarizes and compares numerous conceptually different neural networks-based approaches for constitutive modeling including neural networks used as universal function approximators, advanced neural network models and neural network approaches with integrated physical knowledge. The upcoming of these methods is in-turn closely related to advances in the area of computer sciences, what further adds a chronological aspect to this review. We conclude this review paper with important challenges in the field of learning constitutive relations that need to be tackled in the near future.

研究の動機と目的

• 材料科学におけるニューラルネットワークベースの挙動則モデル化について、包括的かつ方法論に焦点を当てたレビューを提供すること。
• 汎用関数近似器、高度なアーキテクチャ、物理統合型モデルを含む、異なるニューラルネットワーク手法を分類・比較すること。
• 外挿、解釈可能性、誤差蓄積といった、挙動則関係の学習における主な課題を特定し、それらを議論すること。
• 畳み込みニューラルネットワーク（CNNs）、再帰ニューラルネットワーク（RNNs）、トランスフォーマー（transformers）といった機械学習分野の進展と並行して、手法の歴史的進化を明らかにすること。
• 商業的シミュレーションソフトウェアへの機械学習の標準的統合を提唱し、学際的応用の促進を図ること。

提案手法

• ニューラルネットワーク手法を3つの主要なクラスに分類する：汎用関数近似器、高度なニューラルネットワークモデル（例：RNNs、CNNs、transformers）、物理統合型モデル。
• 訓練手法のレビュー：実験データを用いた直接的・間接的訓練、およびバーチャルテスト技術。
• 一般化性と信頼性の向上のため、熱力学的整合性、凸性、単調性といった物理的制約をニューラルネットワークアーキテクチャに統合することの重要性を強調。
• 平衡法則やエントロピー不等式といった物理法則を損失関数に埋め込む正則化技術や損失関数の議論。
• 注意メカニズムとトランスフォーマー・アーキテクチャを用いて、長距離依存性を持つ時間的・履歴依存性材料挙動をモデル化する方法の分析。
• データ駆動型学習と物理的事前知識を組み合わせることで、特に外挿や誤差伝搬の緩和においてモデルの頑健性が向上することを提言。

Figure 1: Number of annual publications (articles, preprints, chapters or proceedings) that contain the combination of the following keywords within the title or the abstract: constitutive and machine learning, constitutive and neural network, material model and neural network, material model and ma

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、挙動則モデル化においてどのように汎用関数近似器として機能し、その限界は何か？
• RQ2 RNNs、CNNs、transformers などの高度なニューラルネットワークアーキテクチャを用いる利点と課題は何か、特に時間的・履歴依存性材料挙動のモデル化において。
• RQ3 熱力学的整合性、凸性、単調性といった物理的制約をどのようにニューラルネットワークモデルに組み込むことができ、一般化性と信頼性の向上に寄与するか？
• RQ4 学習された挙動則モデルにおける外挿、解釈可能性、誤差蓄積の主な課題は何か、それらはどのように克服できるか？
• RQ5 機械学習モデルはどのように商業的シミュレーションソフトウェアに効果的に統合され、工学的応用における採用を加速できるか？

主な発見

• ニューラルネットワークは、任意の連続的挙動則関係を効果的に近似でき、複雑で非線形な材料挙動の高速補間モデルを実現する。
• 物理統合型ニューラルネットワークは、損失関数に熱力学的整合性や物理的制約を組み込むことで、モデルの信頼性を著しく向上させる。
• トランスフォーマーのような高度なアーキテクチャは、長距離依存性をRNNよりも効果的に捉えることができるため、逐次的変形履歴のモデル化において有望である。
• インクリメンタルなシミュレーションにおける誤差蓄積は、訓練プロセスにおける正則化と物理的制約の強制によって緩和できる。
• 物理的知識を統合することで、ニューラルネットワークモデルの解釈性が向上し、材料モデリングにおけるディープラーニングの「ブラックボックス」性が軽減される。
• 進展は見られるものの、外挿、モデル評価、計算コストに関する課題は、産業分野への広範な採用を阻害する主要な障壁のままである。

Figure 2: Methodical spectrum of named constitutive modeling approaches and an outline of the central trade off of these models