[논문 리뷰] Rapid and Automated Alloy Design with Graph Neural Network-Powered LLM-Driven Multi-Agent Systems

Alireza Ghafarollahi, Markus J. Buehler|arXiv (Cornell University)|2024. 10. 17.

Manufacturing Process and Optimization인용 수 4

한 줄 요약

이 논문은 그래프 신경망(GNNs)과 대규모 언어모델(LLMs)을 기반으로 한 다중 에이전트 AI 시스템을 제안하여 자동 합금 설계를 가속화한다. 물리 기반 시뮬레이션과 LLM 기반 에이전트를 통합함으로써, 체심입방격자(BCC) 합금인 NbMoTa 기반 합금에서 원자 체계적 성질인 페일러스 장벽과 불순물-나선결함 상호작용 에너지를 빠르게 예측함으로써, 고비용의 브루트포스 시뮬레이션에 대한 의존도를 감소시키고 높은 정확도로 광범위한 조성 공간을 효율적으로 탐색할 수 있다.

ABSTRACT

A multi-agent AI model is used to automate the discovery of new metallic alloys, integrating multimodal data and external knowledge including insights from physics via atomistic simulations. Our multi-agent system features three key components: (a) a suite of LLMs responsible for tasks such as reasoning and planning, (b) a group of AI agents with distinct roles and expertise that dynamically collaborate, and (c) a newly developed graph neural network (GNN) model for rapid retrieval of key physical properties. A set of LLM-driven AI agents collaborate to automate the exploration of the vast design space of MPEAs, guided by predictions from the GNN. We focus on the NbMoTa family of body-centered cubic (bcc) alloys, modeled using an ML-based interatomic potential, and target two key properties: the Peierls barrier and solute/screw dislocation interaction energy. Our GNN model accurately predicts these atomic-scale properties, providing a faster alternative to costly brute-force calculations and reducing the computational burden on multi-agent systems for physics retrieval. This AI system revolutionizes materials discovery by reducing reliance on human expertise and overcoming the limitations of direct all-atom simulations. By synergizing the predictive power of GNNs with the dynamic collaboration of LLM-based agents, the system autonomously navigates vast alloy design spaces, identifying trends in atomic-scale material properties and predicting macro-scale mechanical strength, as demonstrated by several computational experiments. This approach accelerates the discovery of advanced alloys and holds promise for broader applications in other complex systems, marking a significant step forward in automated materials design.

연구 동기 및 목표

• 다중 주요 원소 합금(MPEAs) 설계에서 원자 체계적 시뮬레이션의 브루트포스 계산 병목 현상을 극복하기 위해.
• 원자 체계적 시뮬레이션에서 유도된 물리 기반 통찰과 다중 모odal 데이터, 외부 지식을 융합하여 더 정확하고 효율적인 합금 성질 예측을 위해.
• 인간 전문 지식에 대한 의존도를 줄이고, NbMoTa BCC 시스템과 같은 복잡한 합금에서 광범위한 조성 공간을 자동으로 탐색하기 위해.
• GNN를 이용한 성질 예측과 LLM 기반 에이전트의 동적 추론 및 계획 능력을 융합한 확장 가능하고 자율적인 AI 프레임워크를 개발하기 위해.
• 최소한의 계산 부담으로 원자 체계적 현상에서 거시적 기계적 강도를 예측할 수 있음을 입증하기 위해.

제안 방법

• AutoGen 프레임워크를 사용하여 계획, 추론, 코딩, 검토 및 다중 모달 데이터 처리 전용 전용 에이전트를 포함하는 다중 에이전트 시스템을 구현하였다.
• 원자들을 노드, 결합을 간선으로 하는 결정격자 구조 그래프를 기반으로 GNN 모델을 훈련시켜 페일러스 장벽과 불순물-나선결함 상호작용 에너지를 예측하였으며, PNAConv, GRUCell, BatchNorm 및 MLP 헤드를 사용하였다.
• 훈련용으로 90%의 정제된 MPEA 조성 데이터셋을 사용하고 검증용으로 10%를 확보하였으며, Adam 최적화 및 학습률 스케줄러를 사용하여 평균 제곱오차를 최소화하였다.
• LLM 기반 에이전트는 GPT-4를 활용하여 가설을 생성하고 탐색 전략을 기획하며 결과를 해석하며, 동적으로 협업하여 합금 설계 공간 탐색을 이끌었다.
• 정확한 원자 체계적 시뮬레이션을 위해 기계 학습 기반의 원자 간 잠재 에너지 함수를 활용하였고, Maresca-Curtin 나선강화 이론을 적용하여 원자 체계적 예측을 거시적 항복 강도로 연결하였다.
• 모든 도구와 기능은 이름, 설명, 입력이 정의된 파이썬 함수로 구현되어 에이전트 기반 워크플로우 내에서 원활한 통합이 가능하도록 하였다.

실험 결과

연구 질문

• RQ1 GNN-LLM 다중 에이전트 시스템은 인간의 간섭 없이 NbMoTa와 같은 복잡한 MPEAs의 광범위한 조성 공간을 자율적으로 탐색할 수 있는가?
• RQ2 브루트포스 시뮬레이션과 비교할 때 GNN 모델이 페일러스 장벽과 불순물-나선결함 상호작용 에너지와 같은 핵심 원자 체계적 성질을 얼마나 정확하게 예측할 수 있는가?
• RQ3 물리 기반 지식과 다중 모달 데이터를 융합함으로써 LLM 기반 에이전트가 재료 발견에서 추론 및 계획 능력을 얼마나 향상시킬 수 있는가?
• RQ4 GNN와 LLM 간의 상호보완적 상호작용은 원자 체계적 시뮬레이션의 계산 부담을 줄이면서도 예측 정확도를 유지할 수 있는가?
• RQ5 이 시스템은 원자 체계적 성질 예측에서 거시적 기계적 강도를 얼마나 효과적으로 예측할 수 있는가?

주요 결과

• GNN 모델은 페일러스 장벽과 불순물-나선결함 상호작용 에너지를 매우 높은 정확도로 예측하여 고비용의 전자기계적 원자 시뮬레이션의 필요성을 크게 감소시켰다.
• 브루트포스 시뮬레이션을 빠르고 일반화 가능한 GNN 예측으로 대체함으로써 계산 비용을 감소시켰고, 합금 조성의 신속한 걸러내기(스크리닝)를 가능하게 하였다.
• LLM 기반 에이전트는 설계 공간을 탐색하기 위해 성공적으로 협업하여 가설을 생성하고 예측된 성질에 기반한 탐색 전략을 개선하였다.
• Maresca-Curtin 나선강화 모델과 같은 물리 기반 이론의 통합을 통해 원자 체계적 입력에서 거시적 항복 강도를 정확하게 예측할 수 있었다.
• 다중 에이전트 시스템은 합금 설계에서 자율적이고 종단 간(end-to-end) 운영이 가능했으며, 훈련 곡선에서 수렴 현상이 관찰되었고, 예측되지 않은 조성에 대한 성능도 검증되었다.
• 프레임워크는 오픈소스이며, GitHub에 데이터와 코드가 공개되어 있어 재현 가능성이 높고 재료 과학 연구 분야에서의 넓은 보급이 가능하다.