[論文レビュー] DeepMoLM: Leveraging Visual and Geometric Structural Information for Molecule-Text Modeling

Jing Lan, Hexiao Ding+9 more|arXiv (Cornell University)|Jan 21, 2026

Machine Learning in Materials Science被引用数 0

ひとこと要約

DeepMoLM は高解像度の分子画像と3Dジオメトリのフ fingerprints をクロスアテンションで統合し、幾何学的不変量に grounded された視覚-言語表現を実現することで、原子座標なしで化学的に妥当なキャプション付与と性質予測を可能にする。

ABSTRACT

AI models for drug discovery and chemical literature mining must interpret molecular images and generate outputs consistent with 3D geometry and stereochemistry. Most molecular language models rely on strings or graphs, while vision-language models often miss stereochemical details and struggle to map continuous 3D structures into discrete tokens. We propose DeepMoLM: Deep Molecular Language M odeling, a dual-view framework that grounds high-resolution molecular images in geometric invariants derived from molecular conformations. DeepMoLM preserves high-frequency evidence from 1024 $ imes$ 1024 inputs, encodes conformer neighborhoods as discrete Extended 3-Dimensional Fingerprints, and fuses visual and geometric streams with cross-attention, enabling physically grounded generation without atom coordinates. DeepMoLM improves PubChem captioning with a 12.3% relative METEOR gain over the strongest generalist baseline while staying competitive with specialist methods. It produces valid numeric outputs for all property queries and attains MAE 13.64 g/mol on Molecular Weight and 37.89 on Complexity in the specialist setting. On ChEBI-20 description generation from images, it exceeds generalist baselines and matches state-of-the-art vision-language models. Code is available at https://github.com/1anj/DeepMoLM.

研究の動機と目的

• 視覚情報と幾何情報の両方を地盤化して立体化学を言語出力に保持することを動機づける。
• 高周波の視覚的手掛かりを保持し、離散的な3D指紋を組み込むデュアル視点の DeepEncoder を開発する。
• 視覚トークンと拡張3D指紋（E3FP）を整合させるクロスアテンション・フュージョン・プロジェクターを導入し、幾何学 grounded な生成を実現する。
• 専門家ベースラインおよび一般ベースラインと比較して、分子キャプション、説明、および性質予測の改善を示す。

提案手法

• SAM-ベースの局所エンコーダと CLIP-ラージのグローバルエンコーダによる1024×1024 分子画像を処理するデュアルパスウェイ DeepEncoder を使用する。
• 拡張三次元指紋（E3FP）でコンフォーマー幾何を表現し、離散トークン埋め込みフュージョンを介して canonical SELFIES トークンへ対応付ける。
• 視覚トークンから幾何学的記述を照会するクロスアテンション・フュージョン・プロジェクターを適用し、デコード前に画像特徴を地盤化する。
• 統合モ multimodal 表現を条件とした自己回帰的フレームワークで Vision-Language Model（Qwen2-VL）を用いて出力をデコードする。
• 二段階のトレーニング: 第1段階はデコーダを凍結したままの視覚-言語整合、第2段階はデコーダを用いた多模態指令調整。

実験結果

リサーチクエスチョン

• RQ1 離散的な3D幾何学的指紋で分子画像を地盤化することは、視覚と言語モダリティ間の整合性を改善できるか。
• RQ2 高解像度の視覚的手掛かりとE3FPベースの幾何を融合することで、画像のみ・幾何のみのベースラインよりキャプション付与と性質予測が改善されるか。
• RQ3 立体化学情報を保持することは、生成品質と分子出力の妥当性にどのように影響するか。
• RQ4 3D指紋と事前学習は、分子タスクにおける強固な多模態地盤化に必須か。

主な発見

• DeepMoLM は PubChem キャプション付与において最強の一般ベースラインに対する METEOR の相対的増分を12.3%達成。
• 専門家設定では、DeepMoLM は性質予測で分子量 MAE 13.64 g/mol、Complexity 37.89 を達成し、すべてのクエリに対して有効な数値出力を提供。
• ChEBI-20 の説明生成で、一般ベースラインを上回り、最新の視覚-言語モデルと同等の性能を達成。
• 分子キャプションと説明の両方において、DeepMoLM は ROUGE や METEOR などの主要指標で複数の専門モデルと多くの一般ベースラインを上回る。
• アブレーション研究により、事前学習、3D-E3FP ブランチ、およびフュージョン・プロジェクターがピーク性能には不可欠であることが示された。