[논문 리뷰] Neural Networks for Constitutive Modeling -- From Universal Function Approximators to Advanced Models and the Integration of Physics

Johannes Dornheim, Lukas Morand외 2명|arXiv (Cornell University)|2023. 02. 28.

Drilling and Well EngineeringEngineering인용 수 3

한 줄 요약

이 논문은 재료 과학 분야에서 신경망 기반의 구성 모델링을 검토하며, 일반 함수 근사기에서 물리 통합 모델에 이르기까지 접근 방식을 분류한다. 기계 학습이 복잡한 재료 거동을 위한 빠르고 정확한 대체 모델을 가능하게 하면서도, 물리적 제약과 고급 아키텍처를 통해 외삽, 해석 가능성, 오차 누적 등의 과제를 해결하고 있음을 강조한다.

ABSTRACT

Analyzing and modeling the constitutive behavior of materials is a core area in materials sciences and a prerequisite for conducting numerical simulations in which the material behavior plays a central role. Constitutive models have been developed since the beginning of the 19th century and are still under constant development. Besides physics-motivated and phenomenological models, during the last decades, the field of constitutive modeling was enriched by the development of machine learning-based constitutive models, especially by using neural networks. The latter is the focus of the present review, which aims to give an overview of neural networks-based constitutive models from a methodical perspective. The review summarizes and compares numerous conceptually different neural networks-based approaches for constitutive modeling including neural networks used as universal function approximators, advanced neural network models and neural network approaches with integrated physical knowledge. The upcoming of these methods is in-turn closely related to advances in the area of computer sciences, what further adds a chronological aspect to this review. We conclude this review paper with important challenges in the field of learning constitutive relations that need to be tackled in the near future.

연구 동기 및 목표

• 재료 과학 분야의 신경망 기반 구성 모델링에 대한 종합적이고 방법론 중심의 검토를 제공하는 것.
• 일반 근사기, 고급 아키텍처, 물리 통합 모델을 포함한 다양한 신경망 접근 방식을 분류하고 비교하는 것.
• 외삽, 해석 가능성, 오차 누적 등의 핵심 과제를 식별하고 논의하는 것.
• 기계 학습의 발전과 병행하여 방법론의 연대기적 발전을 분석하며, CNN, RNN, 트랜스포머 등을 포함한다.
• 공업용 시뮬레이션 소프트웨어에 기계 학습을 표준화된 방식으로 통합하여 다학제적 도입을 가속화할 것을 주장하는 것.

제안 방법

• 신경망 접근 방식을 세 가지 주요 유형으로 분류: 일반 함수 근사기, 고급 신경망 모델(예: RNN, CNN, 트랜스포머), 물리 통합 모델.
• 훈련 방법론을 검토하며, 실험 데이터 및 가상 시험 기법을 활용한 직접 및 간접 훈련을 포함.
• 열역학적 일관성, 볼록성, 단조성 등의 물리적 제약을 신경망 아키텍처에 통합하여 일반화 및 신뢰성 향상을 강조.
• 균형 법칙과 엔트로피 부등식과 같은 물리 법칙을 손실 함수에 통합하는 정규화 기법과 손실 함수를 논의.
• 주의 메커니즘과 트랜스포머 아키텍처를 활용해 장거리 의존성을 가지는 순차적 변형 역사를 모델링하는 데 초점.
• 데이터 기반 학습과 물리적 사전 지식을 조합함으로써 외삽 및 오차 전파 완화에 있어 모델의 강건성을 향상시킬 수 있음을 제안.

Figure 1: Number of annual publications (articles, preprints, chapters or proceedings) that contain the combination of the following keywords within the title or the abstract: constitutive and machine learning, constitutive and neural network, material model and neural network, material model and ma

실험 결과

연구 질문

• RQ1 신경망은 구성 모델링에서 일반 함수 근사기로 어떻게 기능하며, 그 한계는 무엇인가?
• RQ2 RNN, CNN, 트랜스포머와 같은 고급 신경망 아키텍처를 사용할 경우 시간 및 역사 의존성 재료 거동을 모델링할 때의 장점과 과제는 무엇인가?
• RQ3 열역학적 일관성, 볼록성, 단조성 등의 물리적 제약을 신경망 모델에 어떻게 통합하여 일반화 및 신뢰성을 향상시킬 수 있는가?
• RQ4 학습된 구성 모델에서 외삽, 해석 가능성, 오차 누적 등의 핵심 과제는 무엇이며, 어떻게 해결할 수 있는가?
• RQ5 기계 학습 모델을 어떻게 효과적으로 공업용 시뮬레이션 소프트웨어에 통합하여 엔지니어링 응용 분야에서의 도입을 가속화할 수 있는가?

주요 결과

• 신경망은 임의의 연속적인 구성 관계를 효과적으로 근사할 수 있어, 복잡하고 비선형적인 재료 거동을 위한 빠른 대체 모델을 가능하게 한다.
• 물리 기반 신경망은 손실 함수에 열역학적 일관성과 물리적 제약을 통합함으로써 모델 신뢰성을 크게 향상시킨다.
• 트랜스포머와 같은 고급 아키텍처는 장거리 의존성을 더 효과적으로 포착함으로써 순차적 변형 데이터를 모델링하는 데 잠재력을 보이고 있다.
• 증분 시뮬레이션에서의 오차 누적 문제는 훈련 과정에서 정규화 및 물리적 제약 강제를 통해 완화될 수 있다.
• 물리 지식을 통합함으로써 신경망 모델의 해석 가능성은 향상되어 딥 러닝의 '블랙박스' 성향이 감소한다.
• 진전에도 불구하고 외삽, 모델 평가, 계산 비용 등의 과제는 산업 현장에서의 광범위한 도입을 가로막는 주요 장벽 그대로 남아 있다.

Figure 2: Methodical spectrum of named constitutive modeling approaches and an outline of the central trade off of these models