[論文レビュー] A Study of Adaptive Modeling Towards Robust Generalization

Zihao Jing, Qiuhao Zeng+5 more|arXiv (Cornell University)|Feb 2, 2026

Machine Learning in Materials Science被引用数 0

ひとこと要約

この論文は、スケーリング対応パッチと幾何学 grounding アダプターを用いて、言語推論における幾何学を適応的に grounding する統一的な全原子構造認識 LLM「Cuttlefish」を提案し、クロスモダリティ grounding の改善と構造的幻像の低減を図る。

ABSTRACT

Large language models (LLMs) increasingly support reasoning over biomolecular structures, but most existing approaches remain modality-specific and rely on either sequence-style encodings or fixed-length connector tokens for structural inputs. These designs can under-expose explicit geometric cues and impose rigid fusion bottlenecks, leading to over-compression and poor token allocation as structural complexity grows. We present a unified all-atom framework that grounds language reasoning in geometric information while adaptively scaling structural tokens. The method first constructs variable-size structural patches on molecular graphs using an instruction-conditioned gating policy, enabling complexity-aware allocation of query tokens. It then refines the resulting patch tokens via cross-attention with modality embeddings and injects geometry-informed tokens into the language model to improve structure grounding and reduce structural hallucinations. Across diverse all-atom benchmarks, the proposed approach yields consistent gains in heterogeneous structure-grounded reasoning. An anonymized implementation is provided in the supplementary material.

研究の動機と目的

• モダリティ特有の構造入力を超えた統一的な全原子インターフェースをLLMへ提供する動機づけ。
• 分子の複雑さに応じて構造トークンを適応的に割り当てる手法の開発。
• 言語推論へ検証可能な幾何情報を注入することで幾何学的幻像を減らす。
• 複数の全原子モダリティにわたるロバストな構造 grounding 推論を示す。
• 今後の研究を促進するオープン全原子命令データセット GEO-AT を提供。

提案手法

• クエリトークンを構造的複雑さに比例して割り当てる Scaling-Aware Patching を導入し、命令条件付きゲーティング方針で制御。
• 分子グラフ上に可変サイズの構造パッチを形成するソフトパッチ成長機構を実装。
• モダリティ埋め込みをクロスアテンションし、幾何情報を含むトークンをLLMへ注入する幾何 grounding アダプターを開発。
• SE(3)-等変なEGNNエンコーダを用いて原子レベルのモダリティ埋め込みを生成。
• 2段階で訓練： GEO-AT でコネクター中心のエンドツーエンド微調整を行い、次に LLM のアンフリーングを行いエンドツーエンド最適化を実施。

Figure 1 : Mol-Llama performance on the Mol-Instructions captioning task, evaluated across five molecule length bins with 6 metrics (left y-axis, detailed in App D.3 ) plotted as curves with dashed overall averages, and the background bars indicate the proportion of samples in each length bin (right

実験結果

リサーチクエスチョン

• RQ1 全原子幾何情報を固定長のボトルネックなしに効果的に表現・入力するにはどうすればよいか。
• RQ2 幾何 grounded トークンはマルチモーダル分子推論で構造的幻像を減らせるか。
• RQ3 スケーリング対応・パッチベース表現は分子・タンパク質・DNA・RNAにおける推論を改善するか。
• RQ4 幾何 grounded コネクターはモダリティ特有のベースラインと比較して性能にどのような影響を与えるか。

主な発見

• Cuttlefish は全原子ベンチマークおよびモダリティ全体で構造 grounded 推論に一貫した向上を達成。
• Scaling-Aware Patching は構造的に有益な領域へトークンを適応的に割り当てることで固定予算のボトルネックを緩和。
• Geometry Grounding Adapter は幾何情報をLLMへ注入し、幻像を減らし grounding を改善。
• Cuttlefish は分子・タンパク質・核酸において一般的なLLMsおよびモダリティ特異的ベースラインよりも高い性能を示す。
• 構造的複雑さが増加しても安定した性能を維持することから、スケーリング特性が好ましいことを示唆。

Figure 2 : Architecture of Cuttlefish. The framework accepts all-atom inputs (spatial graph: atom features, coordinates, and spatial relations) processed by EGNN for modality embeddings. The model incorporates Scaling-Aware Patching through an instruction-conditioned gate and soft patch-growing mech