[论文解读] A Study of Adaptive Modeling Towards Robust Generalization

Zihao Jing, Qiuhao Zeng+5 more|arXiv (Cornell University)|Feb 2, 2026

Machine Learning in Materials Science被引用 0

一句话总结

本论文引入 Cuttlefish，一种统一的全原子结构感知大模型，通过 Scaling-Aware Patching 和 Geometry Grounding Adapter 在语言推理中自适应地绑定几何信息，以提升跨模态对齐并减少结构性幻觉。

ABSTRACT

Large language models (LLMs) increasingly support reasoning over biomolecular structures, but most existing approaches remain modality-specific and rely on either sequence-style encodings or fixed-length connector tokens for structural inputs. These designs can under-expose explicit geometric cues and impose rigid fusion bottlenecks, leading to over-compression and poor token allocation as structural complexity grows. We present a unified all-atom framework that grounds language reasoning in geometric information while adaptively scaling structural tokens. The method first constructs variable-size structural patches on molecular graphs using an instruction-conditioned gating policy, enabling complexity-aware allocation of query tokens. It then refines the resulting patch tokens via cross-attention with modality embeddings and injects geometry-informed tokens into the language model to improve structure grounding and reduce structural hallucinations. Across diverse all-atom benchmarks, the proposed approach yields consistent gains in heterogeneous structure-grounded reasoning. An anonymized implementation is provided in the supplementary material.

研究动机与目标

• 超越仅限模态的结构输入，向统一的全原子界面迁移以支持大模型的动机。
• 开发能够自适应分配结构化 token 以匹配分子复杂性的的方法。
• 通过将可验证的几何信息注入语言推理来降低几何幻觉。
• 在多种全原子模态中展示鲁棒的结构绑定推理。
• 提供开放的全原子指令数据集 GEO-AT 以促进未来工作。

提出的方法

• 引入 Scaling-Aware Patching，通过基于指令的门控策略按结构复杂度分配查询 token。
• 实现软补丁生长机制，在分子图上形成可变大小的结构补丁。
• 开发 Geometry Grounding Adapter，进行跨模态嵌入的交叉注意并将几何信息 token 注入到大模型中。
• 使用 SE(3)-等变的 EGNN 编码器生成原子级模态嵌入。
• 分两阶段训练：在 GEO-AT 上进行连接器聚焦的端到端微调，然后进行大模型适配，解冻大模型以实现端到端优化。

Figure 1 : Mol-Llama performance on the Mol-Instructions captioning task, evaluated across five molecule length bins with 6 metrics (left y-axis, detailed in App D.3 ) plotted as curves with dashed overall averages, and the background bars indicate the proportion of samples in each length bin (right

实验结果

研究问题

• RQ1 如何在不依赖固定长度瓶颈的情况下有效表示并输入全原子几何信息给大模型？
• RQ2 几何绑定的 token 是否能在多模态分子推理中减少结构性幻觉？
• RQ3 缩放感知、基于补丁的表示是否能提升在分子、蛋白质、DNA、RNA 之间的推理？
• RQ4 几何绑定连接器相较于模态特定基线对性能的影响如何？

主要发现

• Cuttlefish 在所有原子基准和模态上的结构绑定推理表现出一致的提升。
• Scaling-Aware Patching 通过自适应将 token 分配到结构上信息丰富的区域，缓解固定预算瓶颈。
• Geometry Grounding Adapter 将几何线索注入到大模型，降低幻觉并提升绑定。
• Cuttlefish 相较于通用大模型和模态特定基线，在分子、蛋白质和核酸等方面显示出显著的性能提升。
• 该方法在结构复杂度增加时保持稳健的性能，显示出有利的尺度性特征。

Figure 2 : Architecture of Cuttlefish. The framework accepts all-atom inputs (spatial graph: atom features, coordinates, and spatial relations) processed by EGNN for modality embeddings. The model incorporates Scaling-Aware Patching through an instruction-conditioned gate and soft patch-growing mech