[論文レビュー] A recipe for scalable attention-based MLIPs: unlocking long-range accuracy with all-to-all node attention

Eric Qu, Brandon M. Wood+2 more|arXiv (Cornell University)|Mar 6, 2026

Machine Learning in Materials Science被引用数 0

ひとこと要約

論文は、全ノード attention を用いた、機械学習 interatomic potentials (MLIPs) の長距離相互作用精度を向上させるスケーラブルな注意機構フレームワークを提示します。

ABSTRACT

Machine-learning interatomic potentials (MLIPs) have advanced rapidly, with many top models relying on strong physics-based inductive biases. However, as models scale to larger systems like biomolecules and electrolytes, they struggle to accurately capture long-range (LR) interactions, leading current approaches to rely on explicit physics-based terms or components. In this work, we propose AllScAIP, a straightforward, attention-based, and energy-conserving MLIP model that scales to O(100 million) training samples. It addresses the long-range challenge using an all-to-all node attention component that is data-driven. Extensive ablations reveal that in low-data/small-model regimes, inductive biases improve sample efficiency. However, as data and model size scale, these benefits diminish or even reverse, while all-to-all attention remains critical for capturing LR interactions. Our model achieves state-of-the-art energy/force accuracy on molecular systems, as well as a number of physics-based evaluations (OMol25), while being competitive on materials (OMat24) and catalysts (OC20). Furthermore, it enables stable, long-timescale MD simulations that accurately recover experimental observables, including density and heat of vaporization predictions.

研究の動機と目的

• MLIPs における長距離相互作用を捉えるためのスケーラブルな注意機構の必要性を動機づける。
• MLIPs 内でのノード間全通信を可能にする全ノード注意戦略を導入する。
• 長距離原子相互作用の精度と計算効率のバランスを取るスケーラブルなレシピを概説する。

提案手法

• 全ノード注意を用いた注意ベースの MLIP アーキテクチャを提案し、原子間相互作用をモデル化する。
• 広範なノード間通信を可能にしつつ、スケーラビリティを維持するメカニズムを組み込む。
• 長距離精度を達成するためのコア要素とトレーニング上の考慮事項を概説する。
• MLIPs におけるスケーラブルな注意の実装に関する実践的な考慮事項を論じる。

実験結果

リサーチクエスチョン

• RQ1 全ノード注意をどのように活用して MLIPs の長距離精度を向上させることができるか？
• RQ2 大規模系における MLIPs で全ノード注意を用いる際のスケーラビリティの影響は何か？
• RQ3 スケーラブルな注意ベース MLIPs において、精度と計算効率のバランスを取る設計上の選択肢は何か？
• RQ4 提案されたレシピは、長距離相互作用の捉え方において既存のアプローチとどう比較されるか？

主な発見

• このアプローチは、全ノード注意を通じて MLIPs の長距離相互作用精度の向上を目指している。
• 論文は MLIPs への注意機構の適用におけるスケーラビリティ戦略を論じる。
• 提案されたレシピは、原子間ポテンシャルにおけるスケーラブルな注意の実装上の実用的側面に対処する。