[논문 리뷰] Is Large Language Model All You Need to Predict the Synthesizability and Precursors of Crystal Structures?

Zhilong Song, Shuaihua Lu외 3명|arXiv (Cornell University)|2024. 07. 09.

Machine Learning in Materials Science인용 수 4

한 줄 요약

이 논문은 결정 구조 데이터로부터 결정 합성 가능성, 합성 방법 및 전구체를 예측하기 위해 미세조정된 LLM을 사용하는 크리스탈 합성 대규모 언어 모델(CSLLM) 프레임워크를 소개한다. 새로운 텍스트 표현 방식을 사용해 140,120개 샘플로 구성된 데이터셋으로 훈련된 CSLLM은 합성 가능성 예측에서 98.6%의 정확도를 기록했으며, 이는 열역학적 안정성 스크리닝 대비 106.1% 향상되고, 동역학적 안정성 스크리닝 대비 44.5% 향상된 성능이다.

ABSTRACT

Accessing the synthesizability of crystal structures is pivotal for advancing the practical application of theoretical material structures designed by machine learning or high-throughput screening. However, a significant gap exists between the actual synthesizability and thermodynamic or kinetic stability, which is commonly used for screening theoretical structures for experiments. To address this, we develop the Crystal Synthesis Large Language Models (CSLLM) framework, which includes three LLMs for predicting the synthesizability, synthesis methods, and precursors. We create a comprehensive synthesizability dataset including 140,120 crystal structures and develop an efficient text representation method for crystal structures to fine-tune the LLMs. The Synthesizability LLM achieves a remarkable 98.6% accuracy, significantly outperforming traditional synthesizability screening based on thermodynamic and kinetic stability by 106.1% and 44.5%, respectively. The Methods LLM achieves a classification accuracy of 91.02%, and the Precursors LLM has an 80.2% success rate in predicting synthesis precursors. Furthermore, we develop a user-friendly graphical interface that enables automatic predictions of synthesizability and precursors from uploaded crystal structure files. Through these contributions, CSLLM bridges the gap between theoretical material design and experimental synthesis, paving the way for the rapid discovery of novel and synthesizable functional materials.

연구 동기 및 목표

• 재료 설계에서 이론적 결정 안정성과 실제 실험적 합성 가능성 사이의 격차를 해소하기 위해.
• 열역학적 및 동역학적 안정성에 기반한 전통적 스크리닝 방법의 한계를 극복하기 위해.
• 결정 구조에 대한 합성 가능성, 합성 방법 및 전구체 재료를 통합적으로 예측할 수 있는 프레임워크를 개발하기 위해.
• 실험 연구자가 결정 파일에서 직접 합성 가능성 예측을 수행할 수 있도록 사용자 친화적인 인터페이스를 구축하기 위해.
• 고속 이론적 재료 설계와 실질적 실험 합성 사이의 격차를 메우기 위해.

제안 방법

• 결정 구조와 원소 정보를 활용해 LLM이 활용할 수 있는 시퀀스로 변환하는 데 특화된 새로운 텍스트 표현 방법을 개발한다.
• 140,120개의 결정 구조로 구성된 정제된 데이터셋을 기반으로 세 가지 서로 다른 대규모 언어 모델(Synthesizability LLM, Methods LLM, Precursors LLM)을 미세조정한다.
• 이전 합성 데이터를 기반으로 특정 결정 구조가 실험적으로 합성 가능한지 여부를 분류하도록 Synthesizability LLM을 훈련한다.
• 목표 결정 구조에 대한 실현 가능한 합성 경로(예: 고체상, 용액상)를 예측하도록 Methods LLM을 훈련한다.
• 목표 결정의 합성을 위해 필요한 화학 전구체 조합을 예측하도록 Precursors LLM을 훈련하며, 스토이히오메트리 및 반응 호환성에 중점을 둔다.
• 결정 구조 파일(CIF 등)을 입력으로 받아 합성 가능성 및 전구체에 대한 자동 예측 결과를 반환하는 그래픽 사용자 인터페이스를 구현한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델이 열역학적 및 동역학적 안정성 이외의 요소를 기반으로 결정 구조의 합성 가능성을 효과적으로 예측할 수 있는가?
• RQ2 LLM이 다양한 결정 구조에 걸쳐 일반화하여 실현 가능한 합성 방법을 추천할 수 있는 정도는 어느 정도인가?
• RQ3 LLM이 목표 결정 상에 대해 화학적으로 타당한 전구체 조합을 얼마나 정확하게 예측할 수 있는가?
• RQ4 통합된 LLM 프레임워크가 실제 합성 가능성 예측에서 전통적인 안정성 기반 스크리닝을 능가할 수 있는가?
• RQ5 소수의 예시 또는 예측 없이도 결정 구조의 텍스트 기반 표현 방식이 어느 정도의 성능을 달성할 수 있는가?

주요 결과

• Synthesizability LLM은 98.6%의 예측 정확도를 기록했으며, 이는 열역학적 안정성 스크리닝 대비 106.1% 향상되고, 동역학적 안정성 스크리닝 대비 44.5% 향상된 성능이다.
• Methods LLM은 합성 경로를 91.02%의 정확도로 분류하여 실험적 프로토콜을 신뢰성 있게 추천할 수 있다.
• Precursors LLM은 80.2%의 경우에서 유효한 전구체 조합을 성공적으로 예측하여 강력한 화학적 추론 능력을 보였다.
• 텍스트 표현 방식은 결정 구조 정보를 자연어 토큰으로 효과적으로 인코딩하여 고성능 LLM 미세조정을 가능하게 했다.
• 개발된 그래픽 사용자 인터페이스를 통해 결정 구조 입력 파일에서부터 예측까지의 전 과정을 자동화할 수 있어 실험 연구자들에게 접근성을 높였다.
• 이 프레임워크는 이론적 재료 설계와 실험적 실현 가능성 사이의 핵심 격차를 메우며, 새로운 功能 재료의 발견을 가속화했다.