[논문 리뷰] Explainable artificial intelligence for mechanics: physics-informing neural networks for constitutive models

Arnd Koeppe, Franz Bamer외 3명|arXiv (Cornell University)|2021. 04. 20.

Model Reduction and Neural Networks참고 문헌 72인용 수 6

한 줄 요약

이 논문은 기계학적 물성 모델링을 위한 물리 기반 구성 모델에서 순환 신경망(RNN) 셀 상태를 해석하기 위해 주성분 분석(PCA)을 사용하는 새로운 설명 가능한 인공지능 프레임워크를 제안한다. 체계적인 하이퍼파rameter 검색과 PCA 기반의 해석을 결합함으로써, RNN이 물리적으로 의미 있는 표현—예를 들어 비탄성 변형 또는 지수 함수—을 학습한다는 것이 드러났으며, 이는 데이터 기반 모델이 최소 1×10⁻⁶의 테스트 오차로 해석적 해를 발견할 수 있음을 보여준다.

ABSTRACT

(Artificial) neural networks have become increasingly popular in mechanics to accelerate computations with model order reduction techniques and as universal models for a wide variety of materials. However, the major disadvantage of neural networks remains: their numerous parameters are challenging to interpret and explain. Thus, neural networks are often labeled as black boxes, and their results often elude human interpretation. In mechanics, the new and active field of physics-informed neural networks attempts to mitigate this disadvantage by designing deep neural networks on the basis of mechanical knowledge. By using this a priori knowledge, deeper and more complex neural networks became feasible, since the mechanical assumptions could be explained. However, the internal reasoning and explanation of neural network parameters remain mysterious. Complementary to the physics-informed approach, we propose a first step towards a physics-informing approach, which explains neural networks trained on mechanical data a posteriori. This novel explainable artificial intelligence approach aims at elucidating the black box of neural networks and their high-dimensional representations. Therein, the principal component analysis decorrelates the distributed representations in cell states of RNNs and allows the comparison to known and fundamental functions. The novel approach is supported by a systematic hyperparameter search strategy that identifies the best neural network architectures and training parameters. The findings of three case studies on fundamental constitutive models (hyperelasticity, elastoplasticity, and viscoelasticity) imply that the proposed strategy can help identify numerical and analytical closed-form solutions to characterize new materials.

연구 동기 및 목표

• 신경망의 흑박상 성격을 해결하기 위해 학습된 표현의 사후 해석을 가능하게 하기 위해.
• 기계학적 데이터를 학습시킨 신경망이 비탄성 변형 또는 지수 감쇠와 같은 물리적으로 의미 있는 변수를 학습하는지 확인하기 위해.
• 구성 모델링에서 RNN 아키텍처를 최적화하기 위한 체계적인 하이퍼파rameter 검색 전략을 개발하기 위해.
• 설명 가능한 인공지능이 기초 물리 법칙에 대한 사전 지식 없이도 데이터 기반 모델에서 닫힌 형태의 해를 발견할 수 있음을 보여주기 위해.
• 해석적 해가 알려져 있거나 수치적으로 어려운 복잡한 재료 거동에 AI의 적용 범위를 확장하기 위해.

제안 방법

• 구성 모델링 작업에 최적의 RNN 아키텍처와 학습 파라미터를 식별하기 위해 체계적인 하이퍼파rameter 검색 전략을 적용한다.
• 학습된 RNN의 셀 상태에 주성분 분석(PCA)을 적용하여 고차원 분포 표현의 상관관계를 제거하고 해석 가능하게 한다.
• PCA로 추출된 성분을 지수 함수, 거듭제곱 법칙 등 알려진 해석적 함수와 비교하여 네트워크가 학습한 기능 형태를 식별한다.
• 이 방법은 초등적인 구성 모델 세 가지—초탄성성, 탄소성, 점탄성—에 대해 검증된다.
• 평가를 위해 단축축 하중 조건 하에서 기계적 거동을 시뮬레이션한 합성 실험 데이터를 활용하며, 기준 해답을 사용한다.
• 이 프레임워크는 2D/3D 미세구조-기계학적 상관관계와 같은 고차원 시공간 문제로의 확장이 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 RNN 셀 상태에 대한 PCA 기반 분석이 데이터 기반 구성 모델에서 물리적으로 해석 가능한 패턴을 드러낼 수 있는가?
• RQ2 기계학적 데이터를 학습시킨 RNN이 비탄성 변형과 같은 알려진 물리적 양과 동일한 역사 변수를 학습하는가?
• RQ3 설명 가능한 인공지능 프레임워크는 점탄성 모델에서 신경망 결정의 기초가 되는 기능 기반(예: 지수, 거듭제곱 법칙)을 식별할 수 있는가?
• RQ4 체계적인 하이퍼파rameter 검색이 최소한의 데이터로 구성 모델링에서 일반화 및 정확도를 얼마나 향상시킬 수 있는가?
• RQ5 이 접근법은 물리적 가정 없이 순수하게 데이터 기반 모델에서 닫힌 형태의 해석적 해를 드러낼 수 있는가?

주요 결과

• 초탄성성의 경우, 최고 성능을 보인 RNN은 테스트 오차 약 1×10⁻⁶을 기록했으며, 영점에서의 특이 행동에도 불구하고 기계 정밀도에 가까운 성능을 보였다.
• 탄소성의 경우, PCA 분석을 통해 RNN 셀 상태가 비탄성 변형과 동일한 표현을 학습하고 있음을 확인했다. 이는 기본적인 물리적 역사 변수이다.
• 점탄성의 경우, 설명 가능한 인공지능 접근법을 통해 최적 아키텍처가 학습 데이터에서 알고리즘 기반의 역사 변수를 사용하고 있음에도 불구하고 핵심 결정 기반으로 지수 함수를 사용하고 있음을 밝혀냈다.
• 체계적인 하이퍼파arameter 검색은 수동 조정을 최소화하면서도 높은 성능의 아키텍처를 성공적으로 식별했으며, 세 사례 모두에서 강력한 일반화 능력을 확보했다.
• 결과적으로 데이터 기반 모델이 자율적으로 해석적 기능 형태를 발견할 수 있음을 보여주며, 알려진 닫힌 형태의 해가 없는 신규 재료의 특성 분석 잠재력을 시사한다.
• 이 프레임워크는 인공지능 기반 기계학에서의 해석 가능성 제공에 기여하며, 엔지니어링 응용 분야에서 신뢰성과 이식 가능성을 보장한다.