[论文解读] DeepMoLM: Leveraging Visual and Geometric Structural Information for Molecule-Text Modeling

Jing Lan, Hexiao Ding+9 more|arXiv (Cornell University)|Jan 21, 2026

Machine Learning in Materials Science被引用 0

一句话总结

DeepMoLM 将高分辨率分子图像与三维几何指纹通过跨注意力融合，在几何不变量上扎根视觉-语言表征，使标题生成和性质预测在化学上合理且无需原子坐标。

ABSTRACT

AI models for drug discovery and chemical literature mining must interpret molecular images and generate outputs consistent with 3D geometry and stereochemistry. Most molecular language models rely on strings or graphs, while vision-language models often miss stereochemical details and struggle to map continuous 3D structures into discrete tokens. We propose DeepMoLM: Deep Molecular Language M odeling, a dual-view framework that grounds high-resolution molecular images in geometric invariants derived from molecular conformations. DeepMoLM preserves high-frequency evidence from 1024 $ imes$ 1024 inputs, encodes conformer neighborhoods as discrete Extended 3-Dimensional Fingerprints, and fuses visual and geometric streams with cross-attention, enabling physically grounded generation without atom coordinates. DeepMoLM improves PubChem captioning with a 12.3% relative METEOR gain over the strongest generalist baseline while staying competitive with specialist methods. It produces valid numeric outputs for all property queries and attains MAE 13.64 g/mol on Molecular Weight and 37.89 on Complexity in the specialist setting. On ChEBI-20 description generation from images, it exceeds generalist baselines and matches state-of-the-art vision-language models. Code is available at https://github.com/1anj/DeepMoLM.

研究动机与目标

• 在视觉信息和几何信息之间实现对分子理解的着陆，以在语言输出中保留手性和三维结构。
• 开发一个双视角的 DeepEncoder，保留高频视觉线索并融合离散的三维指纹。
• 引入跨注意力融合投影器以将视觉标记与扩展的三维指纹（E3FP）对齐，从而实现几何上有据的生成。
• 在分子标题、描述和性质预测方面，与专门基线和通用基线相比展示改进。

提出的方法

• 使用双路径 DeepEncoder 通过 SAM-Base 本地编码器和 CLIP-Large 全局编码器以 1024×1024 的分子图像进行处理，且配有卷积标记压缩器。
• 用扩展三维指纹（E3FP）来表示构象几何，并通过离散标记嵌入融合将其对齐到规范 SELFIES 标记。
• 应用跨注意力融合投影器，在解码前从视觉标记中查询几何描述符以实现对图像特征的扎根。
• 在一个自回归框架中，使用 Vision-Language 模型（Qwen2-VL）对融合的多模态表示进行解码。
• 分两阶段训练：阶段1 为冻结解码器的视觉-语言对齐，阶段2 为带解码器的多模态指令调优。

实验结果

研究问题

• RQ1 将离散三维几何指纹对分子图像的着陆是否能改善视觉与文本模态在分子理解中的对齐？
• RQ2 高分辨率视觉线索与基于 E3FP 的几何信息的融合是否比单独的图像或几何基线在标题生成和性质预测方面更优？
• RQ3 保持手性信息如何影响生成质量和分子输出的有效性？
• RQ4 在分子任务中，三维指纹和预训练是否对稳健的多模态着陆至关重要？

主要发现

• 相对于最强的一般性基线，在 PubChem 标题生成上，DeepMoLM 的 METEOR 提升了 12.3%。
• 在专门设置中，DeepMoLM 在分子量（Molecular Weight）上达到 MAE 13.64 g/mol，在复杂度（Complexity）上达到 37.89，并为所有查询提供有效的数值输出。
• 在 ChEBI-20 描述生成上，表现超越通用基线并达到最新的 Vision-Language 模型水平。
• 在分子标题和描述任务中，DeepMoLM 在 ROUGE 和 METEOR 等关键指标上优于若干专门模型和大多数通用基线。
• 消融研究表明，预训练、3D-E3FP 分支和融合投影器对达到峰值性能均是必需的。