[論文レビュー] Particle Swarm Based Hyper-Parameter Optimization for Machine Learned Interatomic Potentials

Suresh Kondati Natarajan, A. Miguel|arXiv (Cornell University)|Dec 31, 2020

Machine Learning in Materials Science参考文献 33被引用数 5

ひとこと要約

本稿では、SOAP記述子とガウス過程回帰（GAP）を用いた機械学習ベースの原子間ポテンシャル（ML-PES）におけるハイパーパrameterチューニングのための2段階粒子群最適化（PSO）フレームワークを提案する。まず特徴抽出のハイパーパrameter（SOAP）を最適化し、その後モデル学習のハイパーパrameter（GAP）を最適化することで、計算コストを削減しつつ、1,000分子のトレーニングデータを用いてQM9データセットで64.5 meV/分子の平均絶対誤差を達成する、最先端の精度を実現する。

ABSTRACT

Modeling non-empirical and highly flexible interatomic potential energy surfaces (PES) using machine learning (ML) approaches is becoming popular in molecular and materials research. Training an ML-PES is typically performed in two stages: feature extraction and structure-property relationship modeling. The feature extraction stage transforms atomic positions into a symmetry-invariant mathematical representation. This representation can be fine-tuned by adjusting on a set of so-called "hyper-parameters" (HPs). Subsequently, an ML algorithm such as neural networks or Gaussian process regression (GPR) is used to model the structure-PES relationship based on another set of HPs. Choosing optimal values for the two sets of HPs is critical to ensure the high quality of the resulting ML-PES model. In this paper, we explore HP optimization strategies tailored for ML-PES generation using a custom-coded parallel particle swarm optimizer (available freely at https://github.com/suresh0807/PPSO.git). We employ the smooth overlap of atomic positions (SOAP) descriptor in combination with GPR-based Gaussian approximation potentials (GAP) and optimize HPs for four distinct systems: a toy C dimer, amorphous carbon, $α$-Fe, and small organic molecules (QM9 dataset). We propose a two-step optimization strategy in which the HPs related to the feature extraction stage are optimized first, followed by the optimization of the HPs in the training stage. This strategy is computationally more efficient than optimizing all HPs at the same time by means of significantly reducing the number of ML models needed to be trained to obtain the optimal HPs. This approach can be trivially extended to other combinations of descriptor and ML algorithm and brings us another step closer to fully automated ML-PES generation.

研究の動機と目的

• 機械学習原子間ポテンシャル（ML-PES）におけるハイパーパrameter最適化の挑戦に取り組み、モデルの精度と効率に大きな影響を与えること。
• 複数の段階（特徴抽出とモデル学習）における同時ハイパーパrameter最適化の計算負担を軽減すること。
• 最小限のユーザー介入で高精度なML-PESを生成するスケーラブルで自動化されたワークフローを開発すること。
• さまざまな系における手法の妥当性を検証すること：C二量体、アモルファス炭素、α-Fe、およびQM9データセット。
• 特定のトレーニングセットで最適化されたハイパーパrameterが、その同じデータセットに適用された際に優れた性能を示すことを示すこと。

提案手法

• スケーラブルなハイパーパラメータ探索を可能にするために、カスタム並列粒子群最適化（PPSO）を実装し、自由に公開する。
• 2段階戦略では、まずカーネル分布の分散を最大化し、歪度を最小化することで、SOAPハイパーパラメータ（例：カットオフ半径、幅パラメータ）を最適化する。
• 次に、テストセットにおける平均二乗誤差（RMSE）を最小化することで、GAPハイパーパラメータ（例：カーネル長スケール、正則化パrameter）を最適化する。
• SOAP記述子は、特異値が最も小さい450成分のみを保持することで圧縮され、計算コストを削減しながらも精度を維持する。
• 次元削減と計算コストの低減を図るため、固定された小さなSOAP基底（n_max = l_max = 4）を用いる。
• 検証は、DFTを基準手法として用い、4つの系（C二量体、アモルファス炭素、α-Fe、QM9データセット）で実施する。

実験結果

リサーチクエスチョン

• RQ1 2段階のハイパーパラメータ最適化戦略は、モデル評価回数を削減しつつも、モデルの精度を維持または向上させることができるか？
• RQ2 カーネル分布の統計量（分散と歪度）に基づいてSOAPハイパーパラメータを最適化することで、その後のGAPモデル性能が向上するか？
• RQ3 小さなSOAP基底（n_max = l_max = 4）でも、より大きな基底と同等の性能を示すGAPモデルを生成できるか？
• RQ4 小さなトレーニングセットで最適化されたハイパーパラメータを、より大きなセットに適用した際に、性能のギャップ（転送性の欠如）が生じるか？
• RQ5 提案されたPSOベースのフレームワークは、SOAPとGAPに限らず、他の記述子や機械学習アーキテクチャにも一般化可能か？

主な発見

• 2段階最適化戦略により、GAPモデルのトレーニング実行回数が削減され、共同最適化と比較して計算コストが顕著に低減された。
• QM9データセットでは、1,000個のトレーニング分子と小さなSOAP基底（n_max = l_max = 4）を用いて、平均絶対誤差（MAE）が64.5 meV/分子に達した。
• 100個の分子で最適化されたハイパーパラメータを1,000個のトレーニング分子セットに適用した場合、MAEは84.3 meV/分子に上昇した。これは、ハイパーパラメータがトレーニングセットサイズに依存しており、個別にチューニングする必要があることを示している。
• 100個の分子で最適化されたハイパーパラメータを100個の分子のテストセットに適用した場合、MAEは313 meV/分子に上昇した。これは、ハイパーパラメータがデータサイズに敏感であり、そのまま転送すべきでないことを確認した。
• 圧縮されたSOAP記述子（450成分）は、計算コストを削減しながらもモデルの品質を維持しており、次元削減が顕著な精度損失なしに実現可能であることを示した。
• 本手法は、既存の文献ベンチマークと同等またはそれ以上の性能を示し、複雑な材料や有機分子を含む多様な系において有効性を実証した。