[論文レビュー] Multi-task graph neural networks for simultaneous prediction of global and atomic properties in ferromagnetic systems

Massimiliano Lupo Pasini, Zhang, Pei+2 more|arXiv (Cornell University)|Feb 4, 2022

Machine Learning in Materials Science被引用数 10

ひとこと要約

本稿では、共通の畳み込みバックボーンとタスク固有のヘッドを備えたマルチタスクグラフニューラルネットワーク、HydraGNNを紹介する。このモデルは、フェロ磁性FePt合金におけるグローバル（例：混合エンタルピー）およびアトミック（例：電荷移動、磁気モーメント）な性質を同時に予測する。単一タスク学習と同等の予測精度を達成すると同時に、個々のモデルを別々に学習するのと比べて2倍以上の学習コストを削減し、物理的相関を活用することでデータ効率を向上させた。

ABSTRACT

We introduce a multi-tasking graph convolutional neural network, HydraGNN, to simultaneously predict both global and atomic physical properties and demonstrate with ferromagnetic materials. We train HydraGNN on an open-source ab initio density functional theory (DFT) dataset for iron-platinum (FePt) with a fixed body centered tetragonal (BCT) lattice structure and fixed volume to simultaneously predict the mixing enthalpy (a global feature of the system), the atomic charge transfer, and the atomic magnetic moment across configurations that span the entire compositional range. By taking advantage of underlying physical correlations between material properties, multi-task learning (MTL) with HydraGNN provides effective training even with modest amounts of data. Moreover, this is achieved with just one architecture instead of three, as required by single-task learning (STL). The first convolutional layers of the HydraGNN architecture are shared by all learning tasks and extract features common to all material properties. The following layers discriminate the features of the different properties, the results of which are fed to the separate heads of the final layer to produce predictions. Numerical results show that HydraGNN effectively captures the relation between the configurational entropy and the material properties over the entire compositional range. Overall, the accuracy of simultaneous MTL predictions is comparable to the accuracy of the STL predictions. In addition, the computational cost of training HydraGNN for MTL is much lower than the original DFT calculations and also lower than training separate STL models for each property.

研究の動機と目的

• フェロ磁性系において、グローバルおよびアトミックな材料特性を同時に予測できるデータ効率の高いディープラーニングモデルの開発。
• 混合エンタルピー、電荷移動、磁気モーメントといった相互に依存する物理的性質間の相関を活用することで、計算コストとデータ要件を低減すること。
• 複数の単一タスクモデルを置き換える1つのマルチヘッドモデルとしての統合的ニューラルネットワークアーキテクチャの設計により、学習効率の向上。
• 固定されたBCT構造と体積を有するFePtの全組成範囲をカバーするDFTで生成されたデータセットを用いてモデルの妥当性を検証すること。
• グラフニューラルネットワークを用いたマルチタスク学習が、非平衡状態の材料において複雑な物理的関係を効果的に捉えることができるかどうかの検証。

提案手法

• HydraGNNは、原子構造をグラフ（原子をノード、結合をエッジとして表現）として表現し、共通のグラフ畳み込みニューラルネットワーク（GCNN）バックボーンを用いて局所的な原子間特徴を抽出する。
• 共有された特徴抽出後、タスク固有のヘッドを用いて異なる物理的性質を予測する：混合エンタルピー（グローバル）、アトミックな電荷移動、およびアトミックな磁気モーメント（原子ごと）。
• モデルは、すべての損失関数の勾配を同時に逆伝播することで、エンドツーエンドにマルチタスク学習（MTL）を実行し、汎化性能と特徴共有を向上させる。
• モデルは、グラフ畳み込み層の集約ポリシーを柔軟にカスタマイズ可能であり、データの物理的性質に応じたカスタマイズが可能である。
• モデルは、固定された体心正方晶（BCT）構造と体積を有するFePtのDFTデータセットを用いて学習され、Feに富むからPtに富むまでの全組成をカバーする。
• ランダムな重み初期化を用いた12回の独立した学習ランを実施することで、統計的安定性と信頼性の高い誤差推定を確保する。

実験結果

リサーチクエスチョン

• RQ1 1つのマルチタスクグラフニューラルネットワークアーキテクチャが、フェロ磁性材料におけるグローバルおよびアトミックな性質を効果的に予測できるか？
• RQ2 共有表現を用いたマルチタスク学習は、単一タスク学習と比較して予測精度とデータ効率をどのように向上させるか？
• RQ3 材料の性質間の物理的相関（例：エンタルピー、電荷移動、磁気モーメント）は、低データ環境下でのモデルの汎化性能をどの程度向上させるか？
• RQ4 複数の性質を予測するマルチタスクモデルの学習コストは、各性質に対して別々に学習する単一タスクモデルと比べてどの程度低いのか？
• RQ5 明示的なデータ拡張やトランスファーラーニングなしに、モデルはFePtの全組成範囲にわたって一般化できるか？

主な発見

• 混合エンタルピーのテスト時の平均二乗誤差（RMSE）は1.02×10⁻² ± 1.16×10⁻³ eV/atomであり、単一タスク学習（STL）モデルと同等の精度を達成した。
• 電荷移動のRMSEは5.94×10⁻³ ± 4.39×10⁻⁴ eV/atom、磁気モーメントのRMSEは8.77×10⁻³ ± 3.18×10⁻⁴ μBであり、STLベースラインと同等の精度を達成した。
• 3つの性質を同時に予測するマルチタスクモデルの学習時間は、3つの別々の単一タスクモデルを学習するのと比べて2.2倍以上速くなった。
• DFT計算の元の計算コストと比較して、モデルは計算コストを数百倍まで削減し、材料特性の迅速なスクリーニングを可能にした。
• 共有された畳み込み層は、局所的な原子間相互作用に関連する特徴を効果的に学習し、すべての予測タスクに転送された。
• 相関する複数の性質を共同で学習することで、データ効率が向上し、不確実性が低減されたが、相関の薄い性質を多すぎると性能が劣化する可能性がある。