[論文レビュー] Enhancing Spatial Reasoning in Large Language Models for Metal-Organic Frameworks Structure Prediction

Mianzhi Pan, J. Li+6 more|arXiv (Cornell University)|Jan 14, 2026

Metal-Organic Frameworks: Synthesis and Applications被引用数 0

ひとこと要約

MOF-LLMは三段階の学習パイプライン（空間認識CPT、構造SFT、マッチング駆動RL）を導入し、空間推論と効率を向上させた自回帰的MOFブロック組み立てを実現。デノイジングベースおよび他のLLMベース手法を上回る。

ABSTRACT

Metal-organic frameworks (MOFs) are porous crystalline materials with broad applications such as carbon capture and drug delivery, yet accurately predicting their 3D structures remains a significant challenge. While Large Language Models (LLMs) have shown promise in generating crystals, their application to MOFs is hindered by MOFs' high atomic complexity. Inspired by the success of block-wise paradigms in deep generative models, we pioneer the use of LLMs in this domain by introducing MOF-LLM, the first LLM framework specifically adapted for block-level MOF structure prediction. To effectively harness LLMs for this modular assembly task, our training paradigm integrates spatial-aware continual pre-training (CPT), structural supervised fine-tuning (SFT), and matching-driven reinforcement learning (RL). By incorporating explicit spatial priors and optimizing structural stability via Soft Adaptive Policy Optimization (SAPO), our approach substantially enhances the spatial reasoning capability of a Qwen-3 8B model for accurate MOF structure prediction. Comprehensive experiments demonstrate that MOF-LLM outperforms state-of-the-art denoising-based and LLM-based methods while exhibiting superior sampling efficiency.

研究の動機と目的

• 複雑でモジュール化されたMOFの3D構造予測を正確に動機づける。
• ブロックの回転並進と格子パラメータを扱えるLLMベースのパイプラインを開発。
• 空間事前情報と安定性に焦点を当てた学習目的を組み込み、物理的に妥当なMOF組立を保証。
• ベースラインよりも予測精度とサンプリング効率を示す。

提案手法

• MOF構造をLLMに適したブロックレベルのテキスト表現（格子パラメータ、分数座標、オイラー角、標準SMILESブロック）に変換。
• 幾何学とトポロジーの事前知識を注入する空間認識型連続事前学習（CPT）を適用（トポロジーコード、分子量、PCAスパン、回転軸）。
• SMILESブロックから格子パラメータとブロック回転並進を自己回帰的に生成する構造監視付きファインチューニング（SFT）を実施。
• 構造マッチング報酬を使ったマッチング駆動型強化学習（SAPO）で生成を安定なMOF構成へと洗練。
• 報酬r(i)は解析成功と幾何的適合性をRMSEベースのマッチングで均衡させ、SAPO目的で方策更新を導く。
• 退化のない表現を避け、学習を容易にするため3D回転をオイラー角でレンダリング。

Figure 1: Illustration of MOF structures. An MOF structure and its unit cell are shown on top. The unit cell can be decomposed into building blocks, including metal nodes and organic linkers (bottom). Atom color: Zn (purple), O (red), C (gray), H (white).

実験結果

リサーチクエスチョン

• RQ1 ブロックごとの組み立てフレームワークでLLMを訓練してMOF格子パラメータとブロック回転並進を予測できるか。
• RQ2 空間認識CPTは標準的なファインチューニングと比べてMOFブロック組み立てにおけるLLMの空間推論を改善するか。
• RQ3 SFTを超える構造安定性と精度をマッチングベースのRLがさらに向上させるか。
• RQ4 MOF-LLMはデノイジングベースおよび他のLLMベースMOF構造予測法と比べて精度と推論速度でどう差があるか。

主な発見

• MOF-LLMは最新のデノイジングベースおよびLLMベースのベースラインより、設定全体で一致率（MR）が高くRMSEが低い。
• 未知MOFに対して、stol=0.5で1サンプル時はMR 35.78%、stol=1.0で93.25%、5サンプル時はMR 53.64%、stol=1.0で98.48%。
• MOF-LLMの推論時間は1構造あたり0.04秒で、競合法よりはるかに高速。
• 幾何特性のRMSEはMOF-BFNと同等以上、MOFFlowよりも主要指標（VSA、GSA、AV、UCV、VF、PLD、LCD、DST）で優位。
• アブレーション研究により、空間認識CPTとRPベースRL（SAPO）のいずれもベースラインを大きく上回る実質的な改善と、生成MOFの不安定性低減を確認。

Figure 2: Overview of our MOF-LLM framework. It enhances the spatial reasoning ability of LLMs for MOF structure prediction via a three-stage training: spatial-aware CPT to inject spatial and geometric priors, structural SFT enables block assembly, and matching-driven RL refines structure stability