[논문 리뷰] Enhancing Spatial Reasoning in Large Language Models for Metal-Organic Frameworks Structure Prediction

Mianzhi Pan, J. Li외 6명|arXiv (Cornell University)|2026. 01. 14.

Metal-Organic Frameworks: Synthesis and Applications인용 수 0

한 줄 요약

MOF-LLM은 공간 인식 CPT, 구조 SFT, 그리고 매칭 기반 RL의 세 단계 훈련 파이프라인을 도입하여 자기회귀 MOF 블록 조립이 가능하고 공간 추론 및 효율성이 향상되어 노이즈 제거 기반 및 다른 LLM 기반 방법들보다 우수합니다.

ABSTRACT

Metal-organic frameworks (MOFs) are porous crystalline materials with broad applications such as carbon capture and drug delivery, yet accurately predicting their 3D structures remains a significant challenge. While Large Language Models (LLMs) have shown promise in generating crystals, their application to MOFs is hindered by MOFs' high atomic complexity. Inspired by the success of block-wise paradigms in deep generative models, we pioneer the use of LLMs in this domain by introducing MOF-LLM, the first LLM framework specifically adapted for block-level MOF structure prediction. To effectively harness LLMs for this modular assembly task, our training paradigm integrates spatial-aware continual pre-training (CPT), structural supervised fine-tuning (SFT), and matching-driven reinforcement learning (RL). By incorporating explicit spatial priors and optimizing structural stability via Soft Adaptive Policy Optimization (SAPO), our approach substantially enhances the spatial reasoning capability of a Qwen-3 8B model for accurate MOF structure prediction. Comprehensive experiments demonstrate that MOF-LLM outperforms state-of-the-art denoising-based and LLM-based methods while exhibiting superior sampling efficiency.

연구 동기 및 목표

• 복잡하고 모듈식 MOF의 블록 수준에서 정확한 3D MOF 구조 예측을 동기 부여한다.
• 블록 회전-병진과 격자 파라미터를 다루는 LLM 기반 파이프라인을 개발한다.
• 공간 선행 정보 및 물리적으로 타당한 MOF 조합을 보장하는 안정성 중심 학습 목표를 통합한다.
• baselines 대비 우수한 예측 정확도와 샘플링 효율성을 입증한다.

제안 방법

• MOF 구조를 LLM에 적합한 블록 수준 텍스트 표현으로 변환한다(격자 파라미터, 분수좌표, 오일러 각, 그리고 표준 SMILES 블록).
• 공간 인식 지속 사전 학습(CPT)을 적용하여 기하 및 위상 선행 정보를 주입한다(위상 코드, 분자량, PCA spans, 회전 축).
• 구조적 감독 학습 파인튜닝(SFT)을 수행하여 SMILES 블록에서 격자 파라미터 및 블록의 회전-병진을 자기회귀적으로 생성한다.
• 구조 매칭 보상을 갖는 매칭 주도 강화 학습(SAPO)을 사용하여 생성이 안정한 MOF 구성으로 수렴하도록 정제를 한다.
• 보상 r(i)은 파싱 성공과 기하학적 일치도(RMSE 기반 매칭)를 균형 있게 조정하여 SAPO 목표로 정책 업데이트를 안내한다.
• 데이터 표현의 비특이성(degenerate)을 피하고 학습을 용이하게 하기 위해 오일러 각으로 3D 회전을 렌더링한다.

Figure 1: Illustration of MOF structures. An MOF structure and its unit cell are shown on top. The unit cell can be decomposed into building blocks, including metal nodes and organic linkers (bottom). Atom color: Zn (purple), O (red), C (gray), H (white).

실험 결과

연구 질문

• RQ1 블록 단위 조립 프레임워크에서 LLM을 학습시켜 MOF 격자 파라미터와 블록 수준의 회전-병진을 예측할 수 있는가?
• RQ2 공간 인식 CPT가 표준 미세 조정 대비 MOF 블록 조립에서 LLM의 공간 추론을 개선하는가?
• RQ3 구조 매칭 기반 RL이 SFT를 넘어 MOF 예측의 구조적 안정성 및 정확도를 더 향상시키는가?
• RQ4 MOF-LLM은 정확도와 추론 속도 측면에서 노이즈 제거 기반 및 다른 LLM 기반 MOF 구조 예측 방법과 비교하여 어떤 차이가 있는가?

주요 결과

• MOF-LLM은 최신 노이즈 제거 기반 및 LLM 기반 기준선보다 설정 전반에서 더 높은 매칭 비율(MR) 및 더 낮은 RMSE를 달성한다.
• 미지 MOF에서 MOF-LLM은 stol=0.5에서 35.78%의 매칭 비율, stol=1.0에서 93.25%를 1개의 샘플로 달성하고, stol=0.5에서 53.64%, stol=1.0에서 98.48%를 5개의 샘플로 달성한다.
• MOF-LLM의 추론 시간은 구조당 0.04초로 경쟁 방법들에 비해 매우 빠르다.
• 기하 특성 RMSE에서 MOF-LLM은 MOF-BFN과 경쟁력 있는 성능을 보이며, 주요 서술자(VSA, GSA, AV, UCV, VF, PLD, LCD, DST)에서 MOFFlow보다 더 나은 성능을 보인다.
• 적절한 공간 인식 CPT 및 RP 기반 RL(SAPO)의 각 요소가 기준선 대비 상당한 이득을 제공하고 생성 MOF의 불안정성을 감소시킨다는 점을 확인하는 소거 연구가 뒷받침된다.

Figure 2: Overview of our MOF-LLM framework. It enhances the spatial reasoning ability of LLMs for MOF structure prediction via a three-stage training: spatial-aware CPT to inject spatial and geometric priors, structural SFT enables block assembly, and matching-driven RL refines structure stability