[論文レビュー] DPA-1: Pretraining of Attention-based Deep Potential Model for Molecular Simulation

Duo Zhang, Hangrui Bi+4 more|arXiv (Cornell University)|Aug 17, 2022

Machine Learning in Materials Science被引用数 27

ひとこと要約

DPA-1は、広範な多元素データで事前学習された注意機構を用いたDeep Potentialモデルを導入し、下流のPESタスクの転送性とサンプル効率を向上させる。 また、周期律に整合する解釈可能な元素種別埋め込みを明らかにする。

ABSTRACT

Machine learning assisted modeling of the inter-atomic potential energy surface (PES) is revolutionizing the field of molecular simulation. With the accumulation of high-quality electronic structure data, a model that can be pretrained on all available data and finetuned on downstream tasks with a small additional effort would bring the field to a new stage. Here we propose DPA-1, a Deep Potential model with a novel attention mechanism, which is highly effective for representing the conformation and chemical spaces of atomic systems and learning the PES. We tested DPA-1 on a number of systems and observed superior performance compared with existing benchmarks. When pretrained on large-scale datasets containing 56 elements, DPA-1 can be successfully applied to various downstream tasks with a great improvement of sample efficiency. Surprisingly, for different elements, the learned type embedding parameters form a $spiral$ in the latent space and have a natural correspondence with their positions on the periodic table, showing interesting interpretability of the pretrained DPA-1 model.

研究の動機と目的

• 多元素にまたがる大規模な事前学習を活用できる、スケーラブルで正確なPESモデルを動機づける。
• エネルギー保存性、滑らかさ、並列スケーラビリティを維持する注意機構ベースのDeep Potential（DPA-1）を開発する。
• AlMgCu、SSE、HEA系に対する事前学習から下流タスクへの転送効率を実証する。
• 学習された元素種別埋め込みの解釈性とそれらと周期表の関係を示す。

提案手法

• 元素種別情報を含む局所埋め込みと隣接原子上の自己注意機構を導入する。
• 相対座標行列と種別埋め込みによって局所 descriptors を構築し、それを注意機構ベースの集約で学習可能な descriptor にする。
• Adamを用いたエネルギー/力の結合損失で訓練し、エネルギー項と力項のバランスを取るスケジューリングを採用する。
• 最終エネルギーのバイアスを調整し、特にタイプ埋め込みを選択的に凍結することで事前学習済みモデルを微調整する。
• OC2M（56元素）で事前学習し、AlMgCu、SSE、HEAデータセットを含む下流タスクで評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの注意機構ベースのPESモデルは、単成分・二元・三元成分の異なる組成や異なるデータセットに対して一般化できるか。
• RQ2 事前学習は、下流タスクのデータ量と計算要件をスクラッチからの学習と比較して削減するか。
• RQ3 学習された元素種別埋め込みは、周期表と関連する物理的に解釈可能な構造を示すか。
• RQ4 モデルは大規模シミュレーションにおいてエネルギー保存性、滑らかさ、スケーラビリティを維持できるか。

主な発見

• DPA-1はAlMgCu、SSE、HEAの検証精度でDeepPot-SEを上回る。
• OC2Mでの事前学習は強力なサンプル効率の利得を可能にし、三成分データの必要性を大幅に削減する（例：AlMgCuでは三成分サンプルを90%削減）。
• OC2Mで事前学習したDPA-1は、OC2M検証で他の最先端モデルと競合するエネルギー/力のMAEを達成（0.681 eV, 0.076 eV/Å）
• OC2M事前学習済みDPA-1の元素種別埋め込みは、周期表の族と相関する渦状配置をなしており、解釈可能な物理が示唆される。
• DPA-1は多元素のデータセットにも二次的なトレーニングコスト増加を伴わず拡張できる、いくつかのベースラインモデルとは異なる。
• 事前学習アプローチはより良いサンプル効率をもたらし、MDに適したエネルギー保存・滑らかな力を維持する。