[論文レビュー] Orb: A Fast, Scalable Neural Network Potential

M. Neumann, James Gin+6 more|arXiv (Cornell University)|Oct 29, 2024

Neural Networks and Applications被引用数 34

ひとこと要約

Orb は、既存の UIP より 3-6 倍速く、より正確な universal interatomic potential です。Matbench Discovery で最先端の結果を達成し、材料と小分子の両方に渡る強い一般化と安定性を示します。

ABSTRACT

We introduce Orb, a family of universal interatomic potentials for atomistic modelling of materials. Orb models are 3-6 times faster than existing universal potentials, stable under simulation for a range of out of distribution materials and, upon release, represented a 31% reduction in error over other methods on the Matbench Discovery benchmark. We explore several aspects of foundation model development for materials, with a focus on diffusion pretraining. We evaluate Orb as a model for geometry optimization, Monte Carlo and molecular dynamics simulations.

研究の動機と目的

• 広範な材料モデリングのための高速でスケーラブルな universal interatomic potential を開発する。
• 拡散前学習を活用して、多様な化学組成に対する安定性と精度を向上させる。
• 幾何最適化、モンテカルロ法、および分子動力学における性能を示す。
• 分布外の材料と小分子への一般化を示す。
• ファンデルワールス相互作用に適した分散補正版を提供する。

提案手法

• メッセージ伝搬に滑らかなグラフアテンション機構を備えたグラフネットワークシミュレータを使用する。
• 原子系をノード埋め込みと距離に基づくエッジ特徴を持つグラフとして表現し、周期境界条件を組み込む。
• 三段階のモデルアーキテクチャ: Encoder、Processor（メッセージ伝搬層を含む）、およびエネルギー、力、応力を予測するDecoder。
• 学習は二段階で行う: 基底状態配置での拡散モデル事前学習と、エネルギー・力・応力を予測するための教師ありファインチューニング。
• 推論時に零総力と零総トルクの調整を組み込み、非周期系での物理的整合性を確保する。
• オプションとして、D3補正データで学習することにより分散補正（Orb-D3）を組み込む。

Figure 1: top : Element distribution of the full diffusion pretraining dataset for Orb. bottom : Distribution of the dataset with respect to system size. Due to the efficiency of Orb’s architecture, we can train on systems with up to 5000 atoms, two orders of magnitude larger than MatterGen [ 62 ] ,

実験結果

リサーチクエスチョン

• RQ1 非等変なグラフニューラルネットワークアプローチは、普遍的な原子間ポテンシャルとして最先端の精度と速度を達成できるか。
• RQ2 拡散ベースの事前学習は、大規模で多様な材料系や分布外の化学成分に対して安定性と精度を向上させるか。
• RQ3 結晶、MOF、そして小分子に渡る幾何最適化、MD、MCシミュレーションで Orb はどの程度性能を発揮するか。
• RQ4 ファンデルワールス支配系における分散補正が精度と計算コストに与える影響はどの程度か。
• RQ5 分子特異データを再訓練せずに、MOF や CO2吸着などの新しい領域へ Orb は一般化できるか。

主な発見

モデル	F1	DAF	精度	再現率	正解率	MAE	R2
Orb (MP-trj のみ)	0.764	4.695	0.718	0.818	0.923	0.045	0.756
GNoME*	0.81	4.81	0.825	0.796	0.942	0.034	0.781
MatterSim*	0.832	4.838	0.83	0.834	0.942	0.026	0.804
Orb	0.880	6.035	0.923	0.842	0.965	0.028	0.824
プロト構造重複なし	0.877	6.01	0.919	0.839	0.964	0.029	0.823

• Orb は系のサイズに関係なく MACE より 3-6 倍速いフォワードパスを達成する。
• Orb は Matbench Discovery ベンチマークで新しい最先端を達成し、高精度を示す（例: Orb: 上位結果で 0.923 F1）。
• 拡散前学習はエネルギーと力の予測に普遍的な改善をもたらし、さまざまな検証タスクで指標を17-70%向上させる。
• MD17-10k 分子で安定した MD および MD 関連指標を示し、しばしば分子特異ベースラインを上回るか、同等である。
• 事後の総力および総トルク調整を伴う非保存力予測は、保存力場を必要とせずに安定した MD を生み出せる。
• Orb-MPtraj および Orb-Dispersed（Orb-D3）は、実験的吸着エネルギーと合理的な一致を示し、MOFに対して定性的に正しい拡散風景を示す。

Figure 2: Effect of pretraining and model size on Alexandria and MPtraj Energy MAE, Forces MAE and Forces within a threshold of 0.03. Diffusion pretraining helps universally with improvements between 17% and 70%, even on Alexandria, which is an order of magnitude larger MPtraj.