[논문 리뷰] A recipe for scalable attention-based MLIPs: unlocking long-range accuracy with all-to-all node attention

Eric Qu, Brandon M. Wood외 2명|arXiv (Cornell University)|2026. 03. 06.

Machine Learning in Materials Science인용 수 0

한 줄 요약

본 논문은 all-to-all node attention을 활용한 확장 가능한 attention-based 프레임워크를 통해 MLIPs의 장거리 상호작용 정확도를 향상시키는 머신러닝 기반 원자 포텐셜(MLIPs)을 제시한다.

ABSTRACT

Machine-learning interatomic potentials (MLIPs) have advanced rapidly, with many top models relying on strong physics-based inductive biases. However, as models scale to larger systems like biomolecules and electrolytes, they struggle to accurately capture long-range (LR) interactions, leading current approaches to rely on explicit physics-based terms or components. In this work, we propose AllScAIP, a straightforward, attention-based, and energy-conserving MLIP model that scales to O(100 million) training samples. It addresses the long-range challenge using an all-to-all node attention component that is data-driven. Extensive ablations reveal that in low-data/small-model regimes, inductive biases improve sample efficiency. However, as data and model size scale, these benefits diminish or even reverse, while all-to-all attention remains critical for capturing LR interactions. Our model achieves state-of-the-art energy/force accuracy on molecular systems, as well as a number of physics-based evaluations (OMol25), while being competitive on materials (OMat24) and catalysts (OC20). Furthermore, it enables stable, long-timescale MD simulations that accurately recover experimental observables, including density and heat of vaporization predictions.

연구 동기 및 목표

• 대규모 시스템에서 장거리 상호작용을 포착하기 위한 MLIPs에서 확장 가능한 어텐션 메커니즘의 필요성을 동기 부여한다.
• MLIPs 내에서 포괄적인 노드 간 의사소통을 가능하게 하는 all-to-all node attention 전략을 도입한다.
• 장거리 원자 상호작용의 정확도와 계산 효율성의 균형을 맞추는 확장 가능한 레시피를 개요한다.

제안 방법

• 모듈 MLIP 아키텍처를 제안하고 interatomic interactions를 모델링하기 위한 all-to-all node attention을 도입한다.
• 확장성을 유지하면서 광범위한 노드 간 의사소통을 가능하게 하는 메커니즘을 포함한다.
• 장거리 정확도를 달성하기 위한 핵심 구성 요소와 학습 고려사항을 요약한다.
• MLIPs에서 확장 가능한 어텐션을 구현하기 위한 실용적 고려사항을 논의한다.

실험 결과

연구 질문

• RQ1 all-to-all node attention을 활용하여 MLIPs의 장거리 정확도를 어떻게 향상시킬 수 있는가?
• RQ2 MLIPs에서 all-to-all attention을 대규모 시스템에 적용할 때의 확장성 영향은 무엇인가?
• RQ3 확장 가능한 attention-based MLIPs에서 정확도와 계산 효율성을 균형잡는 설계 선택은 무엇인가?
• RQ4 제안된 레시피가 장거리 상호작용을 포착하는 기존 접근법과 비교하여 어떤 차이가 있는가?

주요 결과

• 이 접근법은 all-to-all node attention을 통해 MLIPs의 장거리 상호작용 정확도 개선을 목표로 한다.
• 논문은 MLIPs에 어텐션 메커니즘을 적용하기 위한 확장성 전략을 다룬다.
• 제안된 레시피는 interatomic potentials에서 확장 가능한 어텐션의 실용적 구현 측면을 다룬다.