[論文レビュー] Simple and efficient algorithms for training machine learning potentials to force data

Justin S. Smith, Nicholas Lubbers+2 more|arXiv (Cornell University)|Jun 9, 2020

Machine Learning in Materials Science被引用数 7

ひとこと要約

本論文は、ab initioシミュレーションからのエネルギーおよび力のデータを用いた機械学習ポテンシャルの訓練に、シンプルで効率的なアルゴリズムを提示している。計算コストはほぼ線形にスケーリングされ、逆伝播を繰り返し行うのではなく方向微分を用いて損失勾配を計算することで、メモリ使用量を50%削減し、システムサイズやモデルの複雑さにかかわらず、エネルギーのみの訓練の3倍のコストで力の訓練が可能になる。

ABSTRACT

Abstract Machine learning models, trained on data from ab initio quantum simulations, are yielding molecular dynamics potentials with unprecedented accuracy. One limiting factor is the quantity of available training data, which can be expensive to obtain. A quantum simulation often provides all atomic forces, in addition to the total energy of the system. These forces provide much more information than the energy alone. It may appear that training a model to this large quantity of force data would introduce significant computational costs. Actually, training to all available force data should only be a few times more expensive than training to energies alone. Here, we present a new algorithm for efficient force training, and benchmark its accuracy by training to forces from real-world datasets for organic chemistry and bulk aluminum.

研究の動機と目的

• ab initio シミュレーションからの大規模な力データセットを用いた機械学習ポテンシャルの訓練に伴う高い計算コストを低減すること。
• 機械学習フレームワークに依存せず、既存のニューラルネットワークコードとの互換性を保ったまま、効率的な力訓練を可能にする手法の開発。
• 勾配計算中に繰り返し逆伝播ステップを回避することで、メモリオーバーヘッドを低減すること。
• システムサイズやモデルパラメータに依存せず、エネルギーのみの訓練の数倍のコストで力訓練が行えることを実証すること。
• エネルギーのみの訓練を想定した既存のMLポテンシャルコードに適用可能な汎用アルゴリズムの提供。

提案手法

• 損失勾配を、エネルギー勾配の方向微分を用いて計算することで、2回目の逆伝播ステップの必要性を回避する。
• 繰り返し逆伝播を単一の逆伝播に置き換え、その後に方向微分の有限差分近似を適用する。
• 有限差分には1つの次元なしパラメータ ε を使用し、式 (10) を用いて力の単位を適切にスケーリングすることで、訓練済みおよび未訓練モデル間で一貫性を確保する。
• フレームワークに依存しないアプローチであり、AENet、N2P2、ANI、PINN など、エネルギーデータで訓練された既存のニューラルネットワークコードに適用可能である。
• 適応的 ε を用いた中央差分スキームにより、数値的安定性と低誤差を実現する。
• 基盤コードに双曲数が利用可能な場合、完全な数値精度を確保できるが、実際には有限差分で十分である。

実験結果

リサーチクエスチョン

• RQ1 力データを、エネルギーのみの訓練の数倍の計算コストで機械学習ポテンシャルの訓練に組み込むことは可能か？
• RQ2 機械学習フレームワークに依存せず、完全な損失勾配を効率的に計算することは可能か？
• RQ3 力訓練中に2回目の逆伝播ステップを回避することで、メモリ使用量を低減できるか？
• RQ4 方向微分の有限差分近似は、最小限の数値誤差で正確な勾配をもたらすか？
• RQ5 適切な単位スケーリングがなされれば、訓練済みおよび未訓練モデルの両方で同じ有限差分パラメータ ε を効果的に使用できるか？

主な発見

• 提案されたアルゴリズムは、システムサイズやモデルの複雑さにかかわらず、すべての力を予測するコストの約3倍のコストで、力訓練の損失勾配を計算する。
• 2回目の逆伝播ステップを排除することで、繰り返し逆伝播と比較してメモリ使用量を50%削減する。
• 有限差分近似による方向微分の勾配は、実際には無視できるほどの数値誤差にとどまり、特に式 (10) を用いた適切な単位スケーリングがなされていれば顕著である。
• 力の単位が正しくスケーリングされていれば、最適な有限差分パラメータ ε は訓練済みおよび未訓練モデルの両方で一貫しており、学習中の堅牢性を確保する。
• エネルギーのみの訓練を想定した既存のニューラルネットワークコードに、フレームワークの制約なしに容易に統合可能である。
• 力データに完全にアクセスすることで、エネルギーのみに比べてはるかに多くの情報を含むため、高精度な機械学習ポテンシャルの構築が可能になる。