[论文解读] Enhancing Spatial Reasoning in Large Language Models for Metal-Organic Frameworks Structure Prediction

Mianzhi Pan, J. Li+6 more|arXiv (Cornell University)|Jan 14, 2026

Metal-Organic Frameworks: Synthesis and Applications被引用 0

一句话总结

MOF-LLM 引入一个三阶段训练管线（空间感知的 CPT、结构化 SFT 与匹配驱动的 RL），实现自回归 MOF 块件组装，具备更强的空间推理与效率，超越去噪基线与其他基于大模型的方法。

ABSTRACT

Metal-organic frameworks (MOFs) are porous crystalline materials with broad applications such as carbon capture and drug delivery, yet accurately predicting their 3D structures remains a significant challenge. While Large Language Models (LLMs) have shown promise in generating crystals, their application to MOFs is hindered by MOFs' high atomic complexity. Inspired by the success of block-wise paradigms in deep generative models, we pioneer the use of LLMs in this domain by introducing MOF-LLM, the first LLM framework specifically adapted for block-level MOF structure prediction. To effectively harness LLMs for this modular assembly task, our training paradigm integrates spatial-aware continual pre-training (CPT), structural supervised fine-tuning (SFT), and matching-driven reinforcement learning (RL). By incorporating explicit spatial priors and optimizing structural stability via Soft Adaptive Policy Optimization (SAPO), our approach substantially enhances the spatial reasoning capability of a Qwen-3 8B model for accurate MOF structure prediction. Comprehensive experiments demonstrate that MOF-LLM outperforms state-of-the-art denoising-based and LLM-based methods while exhibiting superior sampling efficiency.

研究动机与目标

• 在复杂的块级模块化 MOF 下，激发对 3D MOF 结构的准确预测。
• 开发处理块级转动平移和晶格参数的基于大模型的管线。
• 结合空间先验与以稳定性为目标的学习目标，确保 MOF 装配的物理可行性。
• 在预测准确性和采样效率方面优于基线方法。

提出的方法

• 将 MOF 结构转换为适合大模型的块级文本表示（晶格参数、分数坐标、欧拉角、以及规范 SMILES 块）。
• 应用空间感知的持续预训练（CPT）以注入几何与拓扑先验（拓扑码、分子量、PCA 跨度、旋转轴）。
• 执行结构化监督微调（SFT），自回归地从 SMILES 块生成晶格参数和块的 roto-平移。
• 使用带结构匹配奖励的匹配驱动强化学习（SAPO），将生成引导向稳定的 MOF 配置收敛。
• 奖励 r(i) 通过基于 RMSE 的匹配在解析成功与几何保真度之间取得平衡，促使策略更新采用 SAPO 目标。
• 通过欧拉角实现 3D 旋转以避免退化表示并促进学习。

Figure 1: Illustration of MOF structures. An MOF structure and its unit cell are shown on top. The unit cell can be decomposed into building blocks, including metal nodes and organic linkers (bottom). Atom color: Zn (purple), O (red), C (gray), H (white).

实验结果

研究问题

• RQ1 能否在块级组装框架中训练出预测 MOF 晶格参数和块级 roto-平移的 LLM？
• RQ2 相较于标准微调，空间感知 CPT 是否提升 LLM 的 MOF 块件组装的空间推理？
• RQ3 匹配驱动的 RL 是否能在 SFT 基础上进一步提升 MOF 预测的结构稳定性与准确性？
• RQ4 MOF-LLM 相较于去噪基线和其他基于大模型的 MOF 结构预测方法，在准确性与推理速度方面表现如何？

主要发现

• MOF-LLM 在匹配率（MR）和 RMSE 上超过最先进的去噪基线和基于 LLM 的基线，在不同设置下表现优越。
• 在未见 MOF 上，MOF-LLM 在 stol=0.5 时的匹配率为 35.78%，stol=1.0 时为 93.25%，对 1 个样本；在 5 个样本时，分别为 53.64% 和 98.48%。
• MOF-LLM 的每个结构推断时间为 0.04 秒，远快于竞争方法。
• 几何性质的 RMSE 显示 MOF-LLM 与 MOF-BFN 相当，在关键描述符（VSA、GSA、AV、UCV、VF、PLD、LCD、DST）上优于 MOFFlow。
• 消融研究表明，空间感知 CPT 与基于 RP 的 RL（SAPO）各自相比基线带来显著提升，并降低生成 MOF 的不稳定性。

Figure 2: Overview of our MOF-LLM framework. It enhances the spatial reasoning ability of LLMs for MOF structure prediction via a three-stage training: spatial-aware CPT to inject spatial and geometric priors, structural SFT enables block assembly, and matching-driven RL refines structure stability