[論文レビュー] Distillation of atomistic foundation models across architectures and chemical domains

John L. A. Gardner, Daniel F. Thomas du Toit+9 more|ArXiv.org|Jun 12, 2025

Machine Learning in Materials Science被引用数 3

ひとこと要約

要約：本論文は、アーキテクチャに依存しない蒸留プロトコルを提示し、大規模な原子レベル基盤モデルから小さくて高速な student MLIP へ合成データを介して知識を転移し、さまざまな化学分野で10倍以上〜100倍以上の速度向上を達成します。アプローチは、限られたハードウェア上で複数のアーキテクチャへ蒸留する小規模なファインチューニングセットを用いて、正確でスケーラブルなMDシミュレーションを実現します。

ABSTRACT

Machine-learned interatomic potentials have transformed computational research in the physical sciences. Recent atomistic `foundation' models have changed the field yet again: trained on many different chemical elements and domains, these potentials are widely applicable, but comparably slow and resource-intensive to run. Here we show how distillation via synthetic data can be used to cheaply transfer knowledge from atomistic foundation models to a range of different architectures, unlocking much smaller, more efficient potentials. We demonstrate speed-ups of $> 10 imes$ by distilling from one graph-network architecture into another, and $> 100 imes$ by leveraging the atomic cluster expansion framework. We showcase applicability across chemical and materials domains: from liquid water to hydrogen under extreme conditions; from porous silica and a hybrid halide perovskite solar-cell material to modelling organic reactions. Our work shows how distillation can support the routine and computationally efficient use of current and future atomistic foundation models in real-world scientific research.

研究の動機と目的

• 原子論的基盤モデル（FMs）からより小さく高速な student MLIPs へ、化学分野を跨いだ知識転移の一般的な蒸留プロトコルを実証する。
• 複数の MLIP アーキテクチャへ蒸留し、合成データラベリングを活用することで、アーキテクチャに依存しない適用性を示す。
• 代表的な系におけるメモリ使用量とMDの安定性を含む、計算効率と精度のトレードオフを定量化する。
• MDベースの診断とベンチマークを通じて、蒸留モデルが本質的な物理特性を保持することを検証する。
• 原子論的FMを限られたハードウェアで利用可能にする実用的影響を強調する。

提案手法

• 既存の原子論的FMを、量子機械的ラベルを付けた小規模な分子構造セットでファインチューニングする。
• MDシミュレーションを伴わない rattle-relax-repeat 増強法により、ファインチューニング済みFMを用いて大規模な合成データセットを生成する。
• 小型で高速な student MLIP アーキテクチャを合成データ上で訓練し、FMの予測とラベルを近似する。
• 蒸留モデルをDFTテストセットと比較し、MDシミュレーション中の構造・熱力学的性質を評価する。
• アーキテクチャ（TensorNet、PaiNN、ACE）間での速度向上とスケーラビリティ、およびACE/EDDPファミリ内での適用性を実証する。
• ASE計算機と augment-atoms を用いたエンドツーエンドのワークフローを可能にする、アーキテクチャに依存しない互換性を示す。

実験結果

リサーチクエスチョン

• RQ1 高容量の原子論的FMから、異なるアーキテクチャに跨って小さく高速な student モデルへ知識を synthetic-data 蒸留で転移できるか。
• RQ2 DFTラベルに対して精度を保ちつつ、どれくらいの速度とメモリ効率の向上が得られるか。
• RQ3 蒸留した MLIP は多様な化学分野でキーとなる構造・動力学的性質をMDで再現できるか。
• RQ4 反応性・高エネルギー構成の蒸留には実務上の限界と領域境界は何か。
• RQ5 蒸留の結果はアーキテクチャ、カットオフ半径、ファインチューニングデータ量とともにどのように変化するか。

主な発見

• グラフネットワークFMから他のグラフネットワークアーキテクチャへ蒸留する際には>10xの速度向上、ACEフレームワークを活用すると>100xの速度向上。
• 蒸留モデル（TensorNet、PaiNN、ACE）は、DFTラベルに対する力のMAEをファインチューニング済みFMに近づけ、MDの速度向上を大幅に実現。
• 蒸留モデルは1GPUで安定したMDを実現し、FMのメモリ制限を超えた大規模系にも拡張可能。
• 水、H2、シリカ、MAPI、有機反応溶媒の各分野で、蒸留モデルは教師モデルと比較して主要な構造・動的特徴を再現し、いくつかの指標で上回る。
• アブレーション研究は、合成データの増加がFM-DFT精度を改善し、蒸留モデルはFMより小さなカットオフでも大きな精度低下なく動作可能であることを示す。
• 本アプローチは、ファインチューニングに必要な領域データ (<50 DFT-labelled structures) が比較的少なく、オープンソースツールで完全自動化される。