[논문 리뷰] A Study of Adaptive Modeling Towards Robust Generalization

Zihao Jing, Qiuhao Zeng외 5명|arXiv (Cornell University)|2026. 02. 02.

Machine Learning in Materials Science인용 수 0

한 줄 요약

이 논문은 Cross-modality grounding을 개선하고 구조적 환상을 줄이기 위해 Scaling-Aware Patching과 Geometry Grounding Adapter를 통해 기하를 언어 추론에 적응적으로 접지하는 통합 모든-원자(structure-aware) LLM인 Cuttlefish를 도입합니다.

ABSTRACT

Large language models (LLMs) increasingly support reasoning over biomolecular structures, but most existing approaches remain modality-specific and rely on either sequence-style encodings or fixed-length connector tokens for structural inputs. These designs can under-expose explicit geometric cues and impose rigid fusion bottlenecks, leading to over-compression and poor token allocation as structural complexity grows. We present a unified all-atom framework that grounds language reasoning in geometric information while adaptively scaling structural tokens. The method first constructs variable-size structural patches on molecular graphs using an instruction-conditioned gating policy, enabling complexity-aware allocation of query tokens. It then refines the resulting patch tokens via cross-attention with modality embeddings and injects geometry-informed tokens into the language model to improve structure grounding and reduce structural hallucinations. Across diverse all-atom benchmarks, the proposed approach yields consistent gains in heterogeneous structure-grounded reasoning. An anonymized implementation is provided in the supplementary material.

연구 동기 및 목표

• 모달리티별 구조 입력을 넘어 LLM용 통합 모든-원자 인터페이스로의 전환 동기.
• 분자 복잡도에 맞춰 구조 토큰을 적응적으로 배치하는 방법을 개발.
• 언어 추론에 검증 가능한 기하를 주입하여 기하적 환상을 줄입니다.
• 다양한 모든-원자 모달리티에서 강력한 구조-접지 추론을 보여줍니다.
• 향후 연구를 촉진하기 위한 오픈형 모든-원자 명령 데이터셋 GEO-AT를 제공합니다.

제안 방법

• 쿼리 토큰을 구조적 복잡도에 비례하여 할당하는 Scaling-Aware Patching을 도입하여 명령어 조건부 게이팅 정책으로 조정합니다.
• 분자 그래프에서 가변 크기 구조 패치를 형성하는 소프트 패치 확장 메커니즘을 구현합니다.
• 모달리티 임베딩과 교차 주의를 하는 Geometry Grounding Adapter를 개발하고 LLM에 기하 정보를 주입합니다.
• SE(3)-등가 EGNN 인코더를 사용하여 원자 수준 모달리티 임베딩을 생성합니다.
• 두 단계로 학습합니다: GEO-AT에서 커넥터 중심의 엔드투엔드 튜닝, 그다음 LLM을 해제하여 엔드투엔드 최적화를 위한 LLM 적응.

Figure 1 : Mol-Llama performance on the Mol-Instructions captioning task, evaluated across five molecule length bins with 6 metrics (left y-axis, detailed in App D.3 ) plotted as curves with dashed overall averages, and the background bars indicate the proportion of samples in each length bin (right

실험 결과

연구 질문

• RQ1 모든-원자 기하를 고정 길이 병목 없이 효과적으로 표현하고 LLM에 입력할 수 있는 방법은 무엇입니까?
• RQ2 기하 접지 토큰이 다중 모달 분자 추론에서 구조적 환상을 줄일 수 있습니까?
• RQ3 Scaling-Aware, 패치 기반 표현이 분자, 단백질, DNA, RNA 전반의 추론을 개선합니까?
• RQ4 정도별 접지 커넥터의 성능이 모달리티별 기본선 대비 어떤 영향을 미칩니까?

주요 결과

• Cuttlefish는 모든-원자 벤치마크 및 모달리티 전반에서 구조 접지 추론에 일관된 성능 향상을 보입니다.
• Scaling-Aware Patching은 구조적으로 informative한 영역에 토큰을 적응적으로 할당함으로써 고정 예산 병목 현상을 완화합니다.
• Geometry Grounding Adapter는 LLM에 기하 단서를 주입하여 환상을 줄이고 접지를 향상시킵니다.
• Cuttlefish는 분자, 단백질, 핵산 전반에서 일반 LLM 및 모달리티별 기본선 대비 강력한 성능 향상을 보여줍니다.
• 구조적 복잡도가 증가하더라도 안정적인 성능을 유지해 확장 가능성이 우수함을 시사합니다.

Figure 2 : Architecture of Cuttlefish. The framework accepts all-atom inputs (spatial graph: atom features, coordinates, and spatial relations) processed by EGNN for modality embeddings. The model incorporates Scaling-Aware Patching through an instruction-conditioned gate and soft patch-growing mech