[論文レビュー] Measuring transferability issues in machine-learning force fields: The example of Gold-Iron interactions with linearized potentials

Magali Benoit, Jonathan Amodeo+4 more|arXiv (Cornell University)|Dec 23, 2019

Machine Learning in Materials Science参考文献 63被引用数 21

ひとこと要約

本稿では、LassoLars回帰を用いてAu-Fe相相互作用をモデル化する線形化機械学習ポテンシャル（MLIP）を提案し、ポテンシャルの複雑さを高めることでトレーニング精度は向上するが、一般化性能は低下することを示した。この手法により、複雑さを制御可能な形で迅速かつスケーラブルにMLIPを構築でき、トレーニングデータへのフィットと未学習構造の予測精度の間には重要なトレードオフが存在することが明らかになった。

ABSTRACT

Machine-learning force fields have been increasingly employed in order to extend the possibility of current first-principles calculations. However, the transferability of the obtained potential can not always be guaranteed in situations that are outside the original database. To study such limitation, we examined the very difficult case of the interactions in gold-iron nanoparticles. For the machine-learning potential, we employed a linearized formulation that is parameterized using a penalizing regression scheme which allows us to control the complexity of the obtained potential. We showed that while having a more complex potential allows for a better agreement with the training database, it can also lead to overfitting issues and a lower accuracy in untrained systems.

研究の動機と目的

• 金鉄（Au-Fe）ナノ粒子のような複雑で不混和性を示す金属系における機械学習力場の一般化性能の限界を調査すること。
• ポテンシャルの複雑さを体系的に制御可能なスケーラブルな線形化MLIPフレームワークを構築すること。
• トレーニングデータに対する適合精度と未学習構造に対する予測性能の間のトレードオフを定量化すること。
• LassoLars回帰がMLIPの物理的に関連する記述子関数の選択に効果的に機能するかを評価すること。

提案手法

• 正則化回帰を用いてパラメータ化された普遍的な解析的形式を用いて線形化機械学習ポテンシャルを構築した。
• LassoLarsアルゴリズムを用いてスパース回帰を実行し、自動的な特徴選択とモデルの複雑さの制御を可能にした。
• 記述子関数には、パラメータを変更可能な2体（2B）、3体（3B）、多数体（NB）項を含め、Lennard-Jones関数および類似関数から導出した。
• C++コードを用いて各原子配置の記述子行列を生成し、OpenMPを用いて並列化して効率を向上させた。
• Pythonベースのパイプラインにより、行列を連結し、scikit-learnを用いてLassoLarsフィッティングを実行し、LAMMPS互換の入力ファイルを出力した。
• 最終的なMLIPは、LAMMPSのハイブリッド/オーバーレイペアスタイルを用いて2B、3B、NB寄与を統合した。

実験結果

リサーチクエスチョン

• RQ1 機械学習ポテンシャルの複雑さを高めることで、Au-Fe系における未学習構造への一般化性能はどのように変化するか？
• RQ2 LassoLars回帰は、正確なポテンシャル構築に必要な記述子関数のみを効果的に特定・保持できるか？
• RQ3 トレーニングデータベースへの過剰適合が、未学習の原子環境における予測精度をどの程度損なうか？
• RQ4 線形化ポテンシャルフレームワークは、複雑さを調整可能な迅速かつスケーラブルなMLIP開発をどのように可能にするか？
• RQ5 このMLIP手法におけるトレーニング誤差と一般化性能の定量的トレードオフはいかなるものか？

主な発見

• LassoLars法はテスト系において、元のLennard-Jones相互作用パラメータのみを保持し、他のすべての係数をゼロに設定することができた。これはリッジ回帰や通常のラッソ回帰とは対照的であった。
• 並列処理を施したC++コードを用いて、すべての記述子（2B、3B、NB）を含む64原子系の行列を約3分で生成できた。
• 単一の記述子タイプに対してLassoLarsフィッティングは20秒未塔、3つのタイプを合わせた場合でも2分未塔で完了した。
• 本手法はトレーニングデータベースにおいて高い精度を達成したが、複雑さが増すと過剰適合が生じ、未学習系への一般化性能が低下した。
• 本研究では、より高い複雑さがトレーニングへの適合を向上させる一方で、一般化性能を損なうことが確認され、MLIP開発における重要な設計的トレードオフが浮き彫りになった。
• 本フレームワークは、複雑さを制御可能な迅速かつスケーラブルなMLIP構築を可能にし、ハイブリッドスクリーニングやリアルタイムの最適化に適している。