[논문 리뷰] MeLM, a generative pretrained language modeling framework that solves forward and inverse mechanics problems

Markus J. Buehler|arXiv (Cornell University)|2023. 06. 30.

Machine Learning in Materials Science인용 수 4

한 줄 요약

MeLM은 다양한 재료와 스케일에서 정방향 및 역방향 기계학 문제를 해결하기 위해 자기주의 주의 메커니즘을 활용하는 생성형, 순차적 언어 모델링 프레임워크입니다. 학습된 상호작용 잠재력으로 다입자 시스템을 모델링함으로써 기계적 거동 예측 및 새로운 계층적 구조 설계(예: 생물학적 히든콤, 탄소 나노튜브, 단백질 포함)에서 높은 성능을 달성합니다.

ABSTRACT

We report a flexible multi-modal mechanics language model, MeLM, applied to solve various nonlinear forward and inverse problems, that can deal with a set of instructions, numbers and microstructure data. The framework is applied to various examples including bio-inspired hierarchical honeycomb design, carbon nanotube mechanics, and protein unfolding. In spite of the flexible nature of the model-which allows us to easily incorporate diverse materials, scales, and mechanical features-it performs well across disparate forward and inverse tasks. Based on an autoregressive attention-model, MeLM effectively represents a large multi-particle system consisting of hundreds of millions of neurons, where the interaction potentials are discovered through graph-forming self-attention mechanisms that are then used to identify relationships from emergent structures, while taking advantage of synergies discovered in the training data. We show that the model can solve complex degenerate mechanics design problems and determine novel material architectures across a range of hierarchical levels, providing an avenue for materials discovery and analysis. Looking beyond the demonstrations reported in this paper, we discuss other opportunities in applied mechanics and general considerations about the use of large language models in modeling, design, and analysis that can span a broad spectrum of material properties from mechanical, thermal, optical, to electronic.

연구 동기 및 목표

• 다양한 재료와 길이 척도에서 복잡한 정방향 및 역방향 기계학 문제를 해결할 수 있는 유연하고 다중 모달 프레임워크 개발
• 지시어, 숫자, 미세구조 데이터 등 이질적인 데이터 입력으로부터 기계적 거동을 종단 간 학습함으로써 새로운 재료 아키텍처의 발견 가능
• 대규모 언어 모델의 기계학 응용을 텍스트를 초월해 구조적, 기계적, 다물리적 성질로 확장
• 비특이적 설계 문제를 다루고 복잡한 시스템에서의 잠재적 구조적 관계를 식별할 수 있는 모델의 능력 입증
• 기계적, 열적, 광학적, 전자적 성질를 포함한 다스케일 기계학 분석과 재료 발견에 생성형 AI를 활용할 수 있는 기반 마련

제안 방법

• 기계 시스템을 입자 및 상호작용의 시퀀스로 모델링하기 위해 순차적 트랜스포머 기반 아키텍처 적응
• 다입자 시스템으로부터 상호작용 잠재력을 발견하기 위해 그래프 형성 자기주의 주의 메커니즘 활용, 입자 간 상관관계 추론 가능
• 텍스트 지시어, 수치적 파rameter, 미세구조 데이터 등 다중 모달 입력을 통합된 생성 모델링 프레임워크에 통합
• 물리적 방정식을 명시적으로 제공하지 않고도 데이터에서 잠재적 구조적 및 기계적 관계를 학습하기 위해 다양한 기계학 문제로 모델 훈련
• 순차적 생성을 통해 목표 출력에서 기계적 반응 예측(정방향 문제) 및 역설계(예: 목표 강성 또는 변형) 수행
• 훈련 데이터의 상호보완적 특성 활용으로 계층적 수준과 재료 유형 간 일반화 가능, 생물재료 및 나노재료 포함

실험 결과

연구 질문

• RQ1 생성형 언어 모델이 비선형적이고 복잡한 재료 반응을 포함한 정방향 기계학 문제를 효과적으로 해결할 수 있는가?
• RQ2 동일한 프레임워크가 목표 기계적 성질을 달성하는 데 필요한 재료 아키텍처를 식별하는 역설계 작업을 수행할 수 있는가?
• RQ3 다양한 재료, 스케일, 기계적 특성 간에 다중 모달 입력 데이터만으로도 단일 모델이 얼마나 잘 일반화되는가?
• RQ4 트랜스포머 아키텍처의 자기주의 주의 메커니즘이 다입자 시스템에서 의미 있는 상호작용 잠재력을 발견할 수 있는가?
• RQ5 명시적인 물리 모델 없이도 이러한 모델이 비특이적 설계 공간에서 새로운 고성능 재료 아키텍처를 식별할 수 있는가?

주요 결과

• MeLM은 생물학적 히든콤과 같은 계층적 구조에서 정방향 기계학 문제를 성공적으로 해결하여 변형 및 하중 지속 반응을 정확하게 예측
• 목표 기계적 성질을 갖춘 새로운 탄소 나노튜브 아키텍처를 생성하여 효과적인 역설계 능력 입증
• 높은 정밀도로 단백질 편평화 경로를 예측하여 복잡한 생분자 기계학을 모델링할 수 있음을 시사
• 다양한 재료 유형과 계층적 수준 간 일반화 가능, 나노 및 마이크로 스케일 시스템 포함
• 자기주의 주의 메커니즘이 데이터에서 상호작용 잠재력을 효과적으로 학습하여 사전 물리 법칙 없이도 구조적 관계를 유추할 수 있음
• 비특이적 설계 문제에서 뛰어난 성능 기록, 동일한 기계적 목표를 달성할 수 있는 다수의 타당한 재료 아키텍처 식별 가능