[论文解读] A recipe for scalable attention-based MLIPs: unlocking long-range accuracy with all-to-all node attention
论文提出了一种可扩展的基于注意力的机器学习原子势MLIP框架，使用全对全节点注意力来提升长程相互作用的准确性。
Machine-learning interatomic potentials (MLIPs) have advanced rapidly, with many top models relying on strong physics-based inductive biases. However, as models scale to larger systems like biomolecules and electrolytes, they struggle to accurately capture long-range (LR) interactions, leading current approaches to rely on explicit physics-based terms or components. In this work, we propose AllScAIP, a straightforward, attention-based, and energy-conserving MLIP model that scales to O(100 million) training samples. It addresses the long-range challenge using an all-to-all node attention component that is data-driven. Extensive ablations reveal that in low-data/small-model regimes, inductive biases improve sample efficiency. However, as data and model size scale, these benefits diminish or even reverse, while all-to-all attention remains critical for capturing LR interactions. Our model achieves state-of-the-art energy/force accuracy on molecular systems, as well as a number of physics-based evaluations (OMol25), while being competitive on materials (OMat24) and catalysts (OC20). Furthermore, it enables stable, long-timescale MD simulations that accurately recover experimental observables, including density and heat of vaporization predictions.
研究动机与目标
- 在大型系统中捕捉长程相互作用的需要，推动MLIP中可扩展注意力机制的研究。
- 引入全对全节点注意力策略，以实现MLIP内部节点之间的全面通信。
- 概述一个可扩展的配方，在长程原子相互作用中平衡准确性与计算效率。
提出的方法
- 提出一种带有全对全节点注意力的注意力模型MLIP架构，用于建模原子间相互作用。
- 在保持可扩展性的同时，纳入实现广泛的节点间通信的机制。
- 概述实现长程准确性的核心组件与训练注意事项。
- 讨论在MLIP中实现可扩展注意力的实际考虑因素。
实验结果
研究问题
- RQ1如何利用全对全节点注意力来提升MLIP的长程准确性？
- RQ2在大型系统中使用全对全注意力对MLIP的可扩展性有何影响？
- RQ3在可扩展注意力型MLIP中，哪些设计选择在准确性与计算效率之间取得平衡？
- RQ4与现有方法在捕捉长程相互作用方面相比，所提配方有何优势？
主要发现
- 该方法通过全对全节点注意力旨在提高MLIP的长程相互作用准确性。
- 论文讨论将注意力机制应用于MLIP的可扩展性策略。
- 所提配方解决了可扩展注意力在原子势中的实际实现方面的问题。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。