[論文レビュー] PolyGET: Accelerating Polymer Simulations by Accurate and Generalizable Forcefield with Equivariant Transformer

Rui Feng, Tran Doan Huan+5 more|arXiv (Cornell University)|Sep 1, 2023

Machine Learning in Materials ScienceMaterials Science被引用数 3

ひとこと要約

PolyGET は、等変性トランスフォーマーを用いた一般化可能で力中心の機械学習力場を提示する。エネルギーと力の同時最適化ではなく、力のみを訓練対象としているため、24のポリマー群にわたる分子動力学シミュレーションにおいて、最先端の精度と耐障害性を達成し、未知の大きなポリマーに対してもアビ・イニチオレベルの正確性で一般化可能である。

ABSTRACT

Polymer simulation with both accuracy and efficiency is a challenging task. Machine learning (ML) forcefields have been developed to achieve both the accuracy of ab initio methods and the efficiency of empirical force fields. However, existing ML force fields are usually limited to single-molecule settings, and their simulations are not robust enough. In this paper, we present PolyGET, a new framework for Polymer Forcefields with Generalizable Equivariant Transformers. PolyGET is designed to capture complex quantum interactions between atoms and generalize across various polymer families, using a deep learning model called Equivariant Transformers. We propose a new training paradigm that focuses exclusively on optimizing forces, which is different from existing methods that jointly optimize forces and energy. This simple force-centric objective function avoids competing objectives between energy and forces, thereby allowing for learning a unified forcefield ML model over different polymer families. We evaluated PolyGET on a large-scale dataset of 24 distinct polymer types and demonstrated state-of-the-art performance in force accuracy and robust MD simulations. Furthermore, PolyGET can simulate large polymers with high fidelity to the reference ab initio DFT method while being able to generalize to unseen polymers.

研究の動機と目的

• 多様なポリマー群にわたる一般化を実現しながら、高い精度とシミュレーションの耐障害性を維持する機械学習力場の開発を目的とする。
• 単一分子の訓練や、エネルギーと力の最適化という競合する目的関数に起因する、既存のML力場の限界を克服することを目的とする。
• 統一的かつ移譲可能なモデルを用いて、大規模で複雑なポリマーの長時間スケールの分子動力学シミュレーションを可能にすることを目的とする。
• 一般化性と安定性を向上させるために、力予測にのみ焦点を当てた訓練パラダイムを確立することを目的とする。
• 24種類の異なるポリマー型をカバーする大規模なポリマーベンチマークで、最先端の性能を示すこと

提案手法

• 3次元原子座標から回転・並進に等変な原子表現を学習するため、バックボーンモデルとして等変性トランスフォーマーを採用する。
• エネルギーのポテンシャルエネルギーよりも力の最適化に特化した、新しい力中心の訓練パラダイムを導入する。
• 24のポリマー群の多様なデータセットに1つの統一モデルを訓練し、未観測および大規模なポリマーへの一般化を可能にする。
• モデルが学習した力の予測値を数値積分によりポテンシャルエネルギーに変換することで、ab initioの基準データと整合性を保つ。
• 4つのカテゴリー（シクロアルカン、ラクトン、エーテル、その他）にまたがる655万個のコンformationを含む大規模なベンチマークデータセット、Poly24を用いる。
• 物理的不変性を保つために、注意機構を用いて等変性を強制し、エネルギー保存則と力の正確性を確保する。

Figure 1: PolyGET learns a single forcefield model across various polymer families by capturing quantum mechanical interactions. The unified model captures generalizable knowledge from ab-initio reference calculations. PolyGET enables accurate and reliable MD simulations while being able to generali

実験結果

リサーチクエスチョン

• RQ1 24の異なるポリマー群にわたる訓練データを用いた1つの統一された機械学習モデルは、未観測かつ大規模なポリマーに対しても高い正確性で一般化可能だろうか？
• RQ2 エネルギーと力の同時最適化に比べ、力のみを最適化する訓練目的は、より頑健で一般化可能な力の予測をもたらすだろうか？
• RQ3 等変性トランスフォーマーに基づくモデルは、大規模なポリマーのシミュレーションにおいて、計算効率を維持しながらアビ・イニチオレベルの正確性を達成できるだろうか？
• RQ4 本研究で提案する訓練パラダイムは、既存の手法と比較して、シミュレーションの安定性および分布外一般化性において優れているだろうか？
• RQ5 微調整なしに、化学的に異なるポリマー群の間で、知識をどれだけ効果的に転送できるだろうか？

主な発見

• PolyGET は Poly24 ベンチマークで最先端の力の正確性を達成し、分布内および分布外の両設定で、既存のML力場を上回っている。
• 未観測の大規模なポリマーに対しても、再訓練なしに高い正確性を維持したまま、分子動力学シミュレーションへの一般化が効果的に行える。
• 力中心の訓練パラダイムにより、エネルギーと力の同時最適化に比べ、より安定で頑健なシミュレーションが実現され、力の予測におけるノイズ増幅が低減された。
• 訓練時にエネルギーの予測に焦点を当てていないにもかかわらず、モデルが生成するポテンシャルエネルギー値は、ab initioの基準エネルギーと線形相関を示しており、積分により正確なエネルギー推定が可能である。
• 1つの多分子訓練アプローチにより、サイクロアルカン、ラクトン、エーテルなど、多様なポリマー群にまたがる量子力学的相互作用の知識を効果的に転送できる。
• PolyGET はアビ・イニチオ法の正確性を保ちながら、高い計算効率を実現し、複雑なポリマー系の長時間スケールのシミュレーションを可能にしている。

Figure 2: The distribution of per-atom potential energies and forces across different polymers. Forces exhibit similar distributions for various types of polymers, whereas the per-atom potential energy does not.