[논문 리뷰] FlowLLM: Flow Matching for Material Generation with Large Language Models as Base Distributions

Anuroop Sriram, Benjamin Kurt Miller외 2명|arXiv (Cornell University)|2024. 10. 30.

Natural Language Processing Techniques인용 수 7

한 줄 요약

FlowLLM은 미세 조정된 대형 언어 모델을 기저 분포로 활용하고 Riemannian Flow Matching을 통해 메타-안정 결정질 물질을 생성하여, 기존 방법들보다 안정성 생성이 300% 이상이고 SUN (stable, unique, novel) 비율은 약 50% 더 높으며, 구조가 이완된 기저 상태에 더 가까운 결과를 달성합니다.

ABSTRACT

Material discovery is a critical area of research with the potential to revolutionize various fields, including carbon capture, renewable energy, and electronics. However, the immense scale of the chemical space makes it challenging to explore all possible materials experimentally. In this paper, we introduce FlowLLM, a novel generative model that combines large language models (LLMs) and Riemannian flow matching (RFM) to design novel crystalline materials. FlowLLM first fine-tunes an LLM to learn an effective base distribution of meta-stable crystals in a text representation. After converting to a graph representation, the RFM model takes samples from the LLM and iteratively refines the coordinates and lattice parameters. Our approach significantly outperforms state-of-the-art methods, increasing the generation rate of stable materials by over three times and increasing the rate for stable, unique, and novel crystals by $\sim50\%$ - a huge improvement on a difficult problem. Additionally, the crystals generated by FlowLLM are much closer to their relaxed state when compared with another leading model, significantly reducing post-hoc computational cost.

연구 동기 및 목표

• 대형 언어 모델(LLMs)의 강점과 흐름 기반 정제를 활용해 메타-안정 결정질 물질의 빠른 발견을 촉진한다.
• FlowLLM을 제안한다. 초기 결정 구조 표현을 LLM이 생성하고 이를 Riemannian Flow Matching(RFM) 모델이 반복적으로 정제하는 하이브리드 모델.
• MP-20 데이터셋에서 안정성 및 SUN 비율 측면에서 최첨단 기준선 대비 현저한 향상을 시연한다.
• LLM으로부터 학습된 기저 분포를 RFM 정제에 활용하는 영향과 합성 가능성 및 계산 효율성에 대한 시사점을 논의한다.

제안 방법

• 크리스탈-물질 문자열에 대해 사전 학습된 LLaMA-2 LLM을 미세 조정하여 메타-안정 물질의 기저 분포를 학습한다.
• LLM에서 초기 결정 표현(원자 유형, 분수 좌표, 격자 매개변수)을 얻고 무효한 결정은 거부한다.
• 텍스트 출력물을 결정 표현으로 변환하고 고정된 경계 조건으로 결정 다면체에서 원자 위치와 격자 매개변수를 반복적으로 정제하기 위해 크리스탈 매니폴드 위의 Riemannian Flow Matching(RFM) 모델을 적용한다.
• 결정체의 기하공간에서 측지 기반 감독을 사용한 Conditional Flow Matching 목적함수를 통해 RFM 속도장을 v_t를 학습한다.
• 부분 좌표를 평평한 토루스에 표현하고 격자 매개변수를 유클리드 공간에서 표현하며, 그래프 신경망을 통해 대칭성을 강화해 치환, 평행이동, 회전 등등의 등가성을 달성한다.
• LLM을 학습된 기저 분포로, RFM을 잡음 제거/정제 단계로 활용해 이산적(원자 유형) 변수와 연속적( 위치, 격자) 변수를 연결하면서 LLM 프롬팅 능력을 유지한다.

실험 결과

연구 질문

• RQ1 FlowLLM이 기존 생성 모델에 비해 열역학적으로 안정한 물질의 생성 속도를 높일 수 있는가?
• RQ2 RFM의 학습된 기저 분포로 LLM을 사용하는 것이 안정성 및 SUN 비율을 향상시키는가, 그리고 순수 확산/흐름 기반 접근 방식과 비교하면 어떤 차이가 있는가?
• RQ3 FlowLLM으로 생성된 구조물이 이완된 기저 상태에 얼마나 가까운가, 그리고 후처리 이완 비용이 감소하는가?
• RQ4 조건화(예: 화학식)와 샘플링 매개변수(온도, 핵 샘플링)가 안정성 및 SUN 비율과 같은 품질 지표에 미치는 영향은 무엇인가?

주요 결과

• FlowLLM은 MP-20에서 최고의 이전 방법보다 300% 이상 높은 속도로 안정 물질을 생성한다.
• FlowLLM은 SUN(stable, unique, novel) 비율을 이전 방법들보다 약 50% 높게 달성한다.
• FlowLLM으로 생성된 구조물은 CHGNet으로 이완된 기초 상태에 더 근접하며, 매치 비율(Match Rate)은 94.9% 대 74.3%, RMSD는 0.023 Å 대 0.096 Å, 원자당 ΔE는 0.0898 eV/atom 대 0.3031 eV/atom으로 더 낮다.
• FlowLLM은 대략 50개의 RFM 적분 단계만으로 수렴할 수 있어 많은 확산/흐름 기반 기준선보다 빠르다.
• FlowLLM-Types 변형은 원자 유형 예측의 정확성에 주된 초점을 두더라도 안정성 비율을 개선한다는 점을 보여주며, 학습된 기저 분포의 이점을 강조한다.
• FlowLLM은 구조적 타당성과 포괄성 사이에서 강한 타협점을 제공하여 다양한 프롬프트와 샘플링 설정에서 우수한 안정성 및 SUN 지표에 기여한다.