[논문 리뷰] Extreme sparsification of physics-augmented neural networks for interpretable model discovery in mechanics

Jan N. Fuhg, Reese E. Jones외 1명|arXiv (Cornell University)|2023. 10. 05.

Model Reduction and Neural NetworksPhysics and Astronomy인용 수 3

한 줄 요약

이 논문은 고체역학에서 해석 가능하고 신뢰할 수 있는 구성 모델을 발견하기 위해 물리적 제약을 통합한 신경망의 극한 희박화를 위해 부드러운 L⁰-정규화를 제안한다. 데이터 적합성과 매개변수 희박성의 동시 최적화에 더해 열역학적 일致성을 강제함으로써, 초탄성, 유한성 함수, 피로화 법칙 등의 단순하고 인간이 읽을 수 있는 함수 형태를 도출한다. 이는 높은 정확도와 강력한 외삽 능력을 보이며, 합성 데이터와 실험 데이터 모두에서 성공적으로 검증되었다.

ABSTRACT

Data-driven constitutive modeling with neural networks has received increased interest in recent years due to its ability to easily incorporate physical and mechanistic constraints and to overcome the challenging and time-consuming task of formulating phenomenological constitutive laws that can accurately capture the observed material response. However, even though neural network-based constitutive laws have been shown to generalize proficiently, the generated representations are not easily interpretable due to their high number of trainable parameters. Sparse regression approaches exist that allow to obtaining interpretable expressions, but the user is tasked with creating a library of model forms which by construction limits their expressiveness to the functional forms provided in the libraries. In this work, we propose to train regularized physics-augmented neural network-based constitutive models utilizing a smoothed version of $L^{0}$-regularization. This aims to maintain the trustworthiness inherited by the physical constraints, but also enables interpretability which has not been possible thus far on any type of machine learning-based constitutive model where model forms were not assumed a-priory but were actually discovered. During the training process, the network simultaneously fits the training data and penalizes the number of active parameters, while also ensuring constitutive constraints such as thermodynamic consistency. We show that the method can reliably obtain interpretable and trustworthy constitutive models for compressible and incompressible hyperelasticity, yield functions, and hardening models for elastoplasticity, for synthetic and experimental data.

연구 동기 및 목표

• 높은 표현력과 일반화 능력을 지닌 데이터 기반 신경망 구성 모델의 해석 불가능성 문제를 해결하기 위해.
• 기존의 기능 형태 라이브러리가 필요한 희박 회귀 접근법의 기능 표현력 제한을 제거하기 위해.
• 물리적 제약과 매개변수 희박성의 정규화를 통합해 신뢰할 수 있고 외삽 가능한 구성 모델링을 가능하게 하기 위해.
• 제한된 실험 또는 합성 데이터에서 해석 가능하고 물리적으로 일致하는 구성 법칙을 자동으로 발견하기 위해.
• 고용량 신경망과 고체역학 모델링에서 해석 가능하고 인간이 읽을 수 있는 수학적 표현 간 격차를 메우기 위해.

제안 방법

• 훈련 중 활성 매개변수 수를 감소시키기 위해 L⁰-정규화의 부드러운 근사값을 사용하여 희박성에 대한 페널티를 적용한다.
• 물리적 제약이 통합된 신경망을 훈련시켜 데이터 적합성과 비제로 매개변수 수의 최소화를 동시에 달성함으로써 모델의 단순성을 확보한다.
• 망 구조 및 손실 함수 설계 시 열역학적 일치성, 객관성, 재료 대칭성을 강제로 구현한다.
• 각 뉴런에 하나의 비선형 활성 함수만 사용하며, 부드러운 L⁰ 페널티에 의해 유의미한 매개변수만 유지되도록 토막내기(Pruning)를 유도한다.
• 최종 모델은 희박하고 명시적인 함수 형태로 추출되어 해석 가능하며 직접 유한요소 해석기계에 통합 가능하다.
• 이 방법은 합성 및 실험 데이터를 사용하여 초탄성, 유한성 함수, 등방성 피로화 모델에 적용되었다.

실험 결과

연구 질문

• RQ1 물리적 제약이 통합된 신경망의 극한 희박화가 사전에 기능 형태를 가정하지 않고도 해석 가능한 구성 모델을 도출할 수 있는가?
• RQ2 특히 데이터가 적은 상황에서 이러한 방법의 일반화 및 외삽 성능은 어느 정도인가?
• RQ3 물리적 제약을 강제로 적용함으로써 희박하고 데이터 기반 모델의 일반화 능력 향상과 과적합 감소에 어느 정도 기여하는가?
• RQ4 복잡한 재료 거동, 예를 들어 비탄성 피로화의 경우, 이 방법이 간결하고 인간이 읽을 수 있는 함수 형태를 발견할 수 있는가?
• RQ5 기존의 토막내기나 희박 회귀 기법에 비해 부드러운 L⁰-정규화는 해석 가능성과 정확성 측면에서 어떤가?

주요 결과

• 합성 데이터 기반으로 압축성 및 비압축성 초탄성에 대해 높은 정확도로 해석 가능한 구성 모델을 성공적으로 발견하였다.
• 실험적 SS316L 스테인리스 스틸 자료에 대해, R(r) = 0.023 + 1.662/(1+1.071e^(-190.683r)) + 0.362/(1+1.071e^(-2200.640r)) 형태의 피로화 함수를 도출하여 r=0에서 피로화 없음을 보였다.
• 40Cr3MoV 베인틱 스틸 자료에 대해선 세 개의 활성 항을 포함한 복잡하지만 해석 가능한 피로화 함수를 생성하였으며, 정확한 내삽 및 외삽 성능을 보였다.
• 훈련 과정에서 손실와 활성 매개변수 수가 일관되게 감소하여 안정적인 수렴과 효과적인 희박성 유도를 확인하였다.
• 물리적 제약 강제로 제한된 데이터에서도 훈련 변형 범위를 초월한 신뢰할 수 있는 일반화가 가능했다.
• 최종 희박 모델은 간결하고 해석 가능한 수식 형태로 표현되어 기존의 유한요소 프레임워크에 직접 통합 가능했다.