[논문 리뷰] MechGPT, a language-based strategy for mechanics and materials modeling that connects knowledge across scales, disciplines and modalities

Markus J. Buehler|arXiv (Cornell University)|2023. 10. 16.

Machine Learning in Materials Science인용 수 7

한 줄 요약

MechGPT는 기계공학 및 재료 과학 분야에서 스케일, 영역, 모odal 간 지식을 통합하기 위해 최적화된 대규모 언어 모델(LLM)입니다. 검색 증강 생성과 온톨로지 기반 지식 그래프를 활용하여 가설 생성, 다분야 간 추론, 해석 가능한 지식 검색을 가능하게 하며, 모델 크기는 13B에서 70B 파라미터로, 컨텍스트 길이가 10,000 토큰을 초과합니다.

ABSTRACT

For centuries, researchers have sought out ways to connect disparate areas of knowledge. While early scholars (Galileo, da Vinci, etc.) were experts across fields, specialization has taken hold later. With the advent of Artificial Intelligence, we can now explore relationships across areas (e.g., mechanics-biology) or disparate domains (e.g., failure mechanics-art). To achieve this, we use a fine-tuned Large Language Model (LLM), here for a subset of knowledge in multiscale materials failure. The approach includes the use of a general-purpose LLM to distill question-answer pairs from raw sources followed by LLM fine-tuning. The resulting MechGPT LLM foundation model is used in a series of computational experiments to explore its capacity for knowledge retrieval, various language tasks, hypothesis generation, and connecting knowledge across disparate areas. While the model has some ability to recall knowledge from training, we find that LLMs are particularly useful to extract structural insights through Ontological Knowledge Graphs. These interpretable graph structures provide explanatory insights, frameworks for new research questions, and visual representations of knowledge that also can be used in retrieval-augmented generation. Three versions of MechGPT are discussed, featuring different sizes from 13 billion to 70 billion parameters, and reaching context lengths of more than 10,000 tokens. This provides ample capacity for sophisticated retrieval augmented strategies, as well as agent-based modeling where multiple LLMs interact collaboratively and/or adversarially, the incorporation of new data from the literature or web searches, as well as multimodality.

연구 동기 및 목표

• 재료 과학 분야에서 원자적 척도에서 매크로스코픽 척도까지, 기계공학, 생물학, 예술 등 다양한 영역, 그리고 텍스트, 이미지, 수식 등 다양한 데이터 모달 간 지식 격차를 해소하기 위해.
• 이질적인 과학 문헌으로부터 지식 검색, 추론, 가설 생성이 가능한 기초 LLM 개발을 위해.
• 해설 가능성과 검색 성능 향상을 위해 온톨로지 기반 지식 그래프를 통한 해석 가능한 지식 표현을 지원하기 위해.
• 대규모 컨텍스트 LLM을 활용한 에이전트 기반 모델링 및 다중모달 통합과 같은 고급 AI 워크플로우를 지원하기 위해.
• 기계공학 및 재료 모델링 분야에서 서로 다른 영역을 연결함으로써 LLM의 활용이 발견을 가속화하는 데 기여함을 입증하기 위해.

제안 방법

• 다스케일 재료 파손 분야의 원천 과학 자료에서 추출한 질문-답변 쌍을 바탕으로 일반 목적의 LLM을 미세조정합니다.
• 응답의 지식 기반 강화와 환각 현상 감소를 위해 검색 증강 생성(Retrieval-Augmented Generation, RAG)을 활용합니다.
• LLM가 추출한 관계를 바탕으로 온톨로지 기반 지식 그래프를 구축하여, 이해 가능하고 시각화 및 질의 가능한 지식 구조를 제공합니다.
• 13B, 34B, 70B 파라미터를 가진 MechGPT의 세 가지 버전을 훈련하여, 10,000 토큰을 초과하는 컨텍스트 길이를 지원합니다.
• 문헌 및 웹 검색에서 유래한 외부 데이터를 통합하여 동적 지식 업데이트 및 에이전트 기반 협업을 가능하게 합니다.
• 지식 그래프 프레임워크를 통해 텍스트, 기호, 시각적 지식 표현 간의 연결을 통해 다중모달 추론을 지원합니다.

실험 결과

연구 질문

• RQ1 미세조정된 LLM이 기계공학 및 재료 과학 분야에서 다스케일 및 다분야 지식 간에 효과적으로 지식 검색 및 추론을 수행할 수 있는가?
• RQ2 실패 메커니즘과 예술적 표현 등 서로 다른 영역을 연결함으로써 LLM이 검증 가능한 가설을 얼마나 잘 생성할 수 있는가?
• RQ3 온톨로지 기반 지식 그래프가 재료 모델링에서의 해석 가능성과 검색 정확도 향상에 얼마나 기여하는가?
• RQ4 대규모 컨텍스트 LLM이 과학적 발견에서 에이전트 기반 모델링 및 다중모달 추론과 같은 복잡한 워크플로우를 지원할 수 있는가?
• RQ5 모델 크기(13B에서 70B 파라미터)가 재료 과학 과제에서 지식 유지 및 추론 성능에 미치는 영향은 어떠한가?

주요 결과

• MechGPT는 외부 지식 소스를 통합함으로써 지식 검색 및 다분야 간 추론 능력이 뛰어나며, 특히 그 성능이 높습니다.
• LLM가 추출한 온톨로지 기반 지식 그래프는 과학적 관계를 이해 가능하고 시각화 및 질의 가능한 형태로 제공합니다.
• 검색 증강 생성을 활용할 경우 표준 LLM보다 환각 현상이 감소하여 추론 능력과 가설 생성 능력이 향상됩니다.
• 더 큰 모델 크기(최대 70B 파라미터)와 장기 컨텍스트 길이(10,000 토큰 초과)는 더욱 정교한 지식 검색 및 다에이전트 추론 워크플로우를 가능하게 합니다.
• 지식 그래프를 통한 다중모달 데이터 통합은 순수 텍스트 기반 추론을 넘어서 더 풍부하고 맥락화된 과학적 탐구를 지원합니다.
• MechGPT는 의미적 및 구조적 유사성 기반으로 기계공학과 예술 등 기존에 분리되어 있던 영역을 연결함으로써 새로운 연구적 길을 열어줍니다.