[논문 리뷰] DeepMoLM: Leveraging Visual and Geometric Structural Information for Molecule-Text Modeling

Jing Lan, Hexiao Ding외 9명|arXiv (Cornell University)|2026. 01. 21.

Machine Learning in Materials Science인용 수 0

한 줄 요약

DeepMoLM은 교차 주의를 통해 고해상도 분자 이미지를 3D 콘포머 유래 지문과 융합하여 기하학적 불변성에 기초한 비전-언어 표현을 grounding하고, 원자 좌표 없이도 화학적으로 그럴듯한 캡션 생성 및 특성 예측을 가능하게 합니다.

ABSTRACT

AI models for drug discovery and chemical literature mining must interpret molecular images and generate outputs consistent with 3D geometry and stereochemistry. Most molecular language models rely on strings or graphs, while vision-language models often miss stereochemical details and struggle to map continuous 3D structures into discrete tokens. We propose DeepMoLM: Deep Molecular Language M odeling, a dual-view framework that grounds high-resolution molecular images in geometric invariants derived from molecular conformations. DeepMoLM preserves high-frequency evidence from 1024 $ imes$ 1024 inputs, encodes conformer neighborhoods as discrete Extended 3-Dimensional Fingerprints, and fuses visual and geometric streams with cross-attention, enabling physically grounded generation without atom coordinates. DeepMoLM improves PubChem captioning with a 12.3% relative METEOR gain over the strongest generalist baseline while staying competitive with specialist methods. It produces valid numeric outputs for all property queries and attains MAE 13.64 g/mol on Molecular Weight and 37.89 on Complexity in the specialist setting. On ChEBI-20 description generation from images, it exceeds generalist baselines and matches state-of-the-art vision-language models. Code is available at https://github.com/1anj/DeepMoLM.

연구 동기 및 목표

• 시각적 정보와 기하학적 정보를 모두 기반으로 분자 이해를 grounding하여 언어 출력에서 입체화학(sterochemistry)과 3D 구조를 보존합니다.
• 고주파 시각적 단서를 보존하고 이산 3D 지문(Discrete 3D fingerprints)을 통합하는 이중 경로 DeepEncoder를 개발합니다.
• 시각 토큰과 확장된 3D 지문(E3FP)을 정렬하는 교차 주의 융합 프로젝터를 도입하여 기하학적으로 grounded한 생성을 가능하게 합니다.
• 특화된 및 일반 기반 모델과 비교하여 분자 캡션링, 설명 및 특성 예측에서의 개선점을 시연합니다.

제안 방법

• 1024×1024 분자 이미지를 SAM-Base 로컬 인코더와 con-volutional 토큰 압축기를 가진 CLIP-Large 글로벌 인코더를 통해 이중 경로로 처리합니다.
• 구조를 확장된 3차원 지문(E3FP)으로 표현하고 이들을 이산 토큰 임베딩 융합을 통해 정규 SELFIES 토큰에 정렬합니다.
• 시각 토큰으로부터 기하학적 기술자를 조회하여 디코딩 전에 이미지 특징을 grounding하는 교차 주의 융합 프로젝터를 적용합니다.
• 융합된 다중 모달 표현에 조건화된 자회적 프레임워크에서 Vision-Language 모델(Qwen2-VL)로 출력을 자동 회귀적으로 디코딩합니다.
• 훈련은 두 단계로 진행됩니다: 단계-1은 고정 디코더를 사용한 비전-언어 정렬, 단계-2는 디코더를 포함한 다중 모달 지시 학습입니다.

실험 결과

연구 질문

• RQ1 이산 3D 기하 지문으로 분자 이미지를 grounding하면 시각적 및 텍스트 모달리티 간 정합이 향상될까요?
• RQ2 고해상도 시각적 단서와 E3FP 기반 기하학의 융합이 이미지 전용 또는 기하학 전용 베이스라인보다 더 나은 캡션 생성과 특성 예측을 제공할까요?
• RQ3 입체화학 정보를 보존하는 것이 분자 출력의 생성 품질과 타당성에 어떤 영향을 미칠까요?
• RQ4 3D 지문 및 사전 학습이 분자 작업에서 견고한 다중 모달 grounding에 필수적일까요?

주요 결과

• DeepMoLM은 PubChem 캡션링에서 가장 강력한 일반 기반 베이스라인 대비 METEOR의 12.3% 증가를 달성합니다.
• 전문가 설정에서 DeepMoLM은 분자량(Molecular Weight)에서 MAE 13.64 g/mol, 복잡성(Complexity)에서 37.89를 달성하며 모든 질의에 대해 유효한 수치를 제공합니다.
• ChEBI-20 설명 생성에서 일반 기반 베이스라인을 상회하고 최첨단 비전-언어 모델에 근접합니다.
• 분자 캡션링 및 설명 전반에서 DeepMoLM은 ROUGE 및 METEOR 등 주요 지표에서 다수의 전문 모델 및 대부분의 일반 모델보다 우수합니다.
• 소거(ablation) 연구는 사전 학습, 3D-E3FP 분기, 융합 프로젝터가 최고 성능을 위해 필수적임을 보여줍니다.