[논문 리뷰] Machine learning materials physics: Multi-resolution neural networks learn the free energy and nonlinear elastic response of evolving microstructures

Xiaoxuan Zhang, Krishna Garikipati|arXiv (Cornell University)|2019. 12. 31.

Machine Learning in Materials Science참고 문헌 48인용 수 6

한 줄 요약

이 논문은 다성분 결정성 고체의 변화하는 미세구조에서 평균 자유 에너지와 비선형 탄성 거동을 예측하기 위해 깊이 있는 신경망(DNN)과 합성곱 신경망(CNN)을 직접 수치 시뮬레이션(DNS)과 결합한 다중 해상도 신경망 프레임워크를 제안한다. 이 방법은 다양한 미세구조에서 거시적 기계적 거동을 높은 정확도로 예측하며, CNN 기반 모델이 전문가가 정의한 변수를 초월한 복잡한 미세구조적 특징을 포착함으로써 DNN보다 뛰어난 성능을 보인다.

ABSTRACT

Many important multi-component crystalline solids undergo mechanochemical spinodal decomposition: a phase transformation in which the compositional redistribution is coupled with structural changes of the crystal, resulting in dynamically evolving microstructures. The ability to rapidly compute the macroscopic behavior based on these detailed microstructures is of paramount importance for accelerating material discovery and design. Here, our focus is on the macroscopic, nonlinear elastic response of materials harboring microstructure. Because of the diversity of microstructural patterns that can form, there is interest in taking a purely computational approach to predicting their macroscopic response. However, the evaluation of macroscopic, nonlinear elastic properties purely based on direct numerical simulations (DNS) is computationally very expensive, and hence impractical for material design when a large number of microstructures need to be tested. A further complexity of a hierarchical nature arises if the elastic free energy and its variation with strain is a small-scale fluctuation on the dominant trajectory of the total free energy driven by microstructural dynamics. To address these challenges, we present a data-driven approach, which combines advanced neural network (NN) models with DNS to predict the homogenized, macroscopic, mechanical free energy and stress fields arising in a family of multi-component crystalline solids that develop microstructure. The hierarchical structure of the free energy's evolution induces a multi-resolution character to the machine learning paradigm: We construct knowledge-based neural networks (KBNNs) with either pre-trained fully connected deep neural networks (DNNs), or pre-trained convolutional neural networks (CNNs) that describe the dominant characteristic of the data to fully represent the hierarchically evolving free energy.

연구 동기 및 목표

• 기계화학적 스핀델 분해를 겪는 다성분 결정성 고체의 거시적 기계적 성질을 빠르게 예측하기 위해.
• 대규모 재료 설계를 위한 직접 수치 시뮬레이션(DNS)의 계산 비가용성을 극복하기 위해 고비용의 평균화를 데이터 기반 학습으로 대체하기 위해.
• 작은 척도의 탄성 변동과 지배적인 미세구조 역학이 공존하는 자유 에너지 진화의 계층적 성격을 모델링하기 위해.
• 신경망 훈련에 물리 기반 정규화를 통합하여 예측 정확도를 향상시키기 위해.
• 전문가가 정의한 특징을 초월한 복잡한 미세구조적 특징을 합성곱 층이 학습하는 방식을 식별함으로써 해석 가능성 향상시키기 위해.

제안 방법

• 합성된 미세구조와 그에 해당하는 평균 자유 에너지 및 응력장 생성을 위해 연립 비선형 기울기 탄성 및 케인-힐리아드 상전이 필드 방정식의 직접 수치 시뮬레이션(DNS)을 수행하였다.
• 주어진 자유 에너지 궤적의 주요 특징을 모델링하기 위해 사전 훈련된 DNN 또는 CNN을 특징 추출기로 사용하여 지식 기반 신경망(KBNN)을 구축하였다.
• CNN은 미세구조의 공간 패턴을 포착하고, DNN은 변형에 따른 변화를 모델링하는 다중 해상도 학습 아키텍처를 구현하였다.
• 자유 에너지의 열역학적 일관성과 그 도함수(응력)에 대한 페널티를 적용하여 물리 기반 정규화를 시행하였다.
• 다양한 초기 조건을 가진 20개의 DNS 시뮬레이션에서 유도된 총 17,000개의 미세구조를 사용해 일반화 능력을 시험하기 위해 모델을 훈련시켰다.
• 합성곱 층에서 학습된 특징을 해석하기 위해 필터 시각화 기법을 사용하고, 전문가가 정의한 미세구조 기술자와 비교하였다.

실험 결과

연구 질문

• RQ1 다중 해상도 신경망 아키텍처는 DNS로 생성된 데이터로부터 변화하는 미세구조의 비선형 탄성 거동을 효과적으로 학습할 수 있는가?
• RQ2 다양한 초기 조건을 가진 미세구조에서 CNN 기반과 DNN 기반 KBNN의 평균 자유 에너지 및 응력 예측 성능는 어떻게 비교되는가?
• RQ3 합성곱 층이 도메인 전문가가 정의한 특징을 초월해 어떤 정도의 추가적인 복잡한 특징(예: 볼륨 분율과 표면 간섭 정보의 조합 등)을 학습하는가?
• RQ4 물리 기반 페널티 적용이 재료 평균화에서 신경망의 일반화 및 예측 정확도를 향상시킬 수 있는가?
• RQ5 계층적 특징 학습은 기계화학적 시스템에서 자유 에너지 진화의 다스케일 성격을 포착하는 데 어떤 역할을 하는가?

주요 결과

• 다양한 초기 조건에서 변화하는 미세구조의 탄성 거동을 예측하는 데 CNN 기반 KBNN이 DNN 기반 KBNN보다 뛰어난 성능을 보이며, 더 뛰어난 특징 추출 능력을 지닌다는 것을 시사한다.
• 최고 성능을 보인 CNN의 합성곱 층은 전문가가 식별한 핵심 특징인 계면 길이와 상 분율을 학습하여 물리적 직관과의 일치를 확인하였다.
• 기존에 알려진 특징 외에도, 전문가가 정의하지 않은 복잡하고 혼합된 특징(예: 볼륨 분율과 표면 정보의 통합)을 학습하는 것으로 나타났다.
• 물리 기반 페널티 적용으로 모델의 일반화 능력이 향상되어 경계 데이터만으로도 정확한 평균 응력장을 예측할 수 있었다.
• 필터 시각화 결과 일부 필터(예: 필터 4)는 음수 반응을 생성했지만 ReLU 활성화 함수에 의해 0으로 설정되어 비트리비어 특징 선택과 학습된 표현의 잠재적 중복성을 시사하였다.
• 결과적으로 CNN은 3차원 문제에서 DNN보다 더 효과적일 수 있으며, 사전에 지정된 특징에 의존하지 않고도 복잡한 고차원의 미세구조 패턴을 효과적으로 학습할 수 있기 때문이다.