[論文レビュー] Large-scale machine-learning-assisted exploration of the whole materials space

Jonathan Schmidt, Noah Hoffmann+6 more|arXiv (Cornell University)|Oct 2, 2022

Machine Learning in Materials Science被引用数 8

ひとこと要約

本論文は、結晶グラフ自己注意ネットワーク（CGAT）に基づく大規模な機械学習フレームワークを提示し、全無機材料空間の高速で高スループットな探索を可能にする。化学的・構造的多様性のバイアスを低減するための訓練データの拡張により、モデルは類稀な一般化精度を達成し、約10億化合物の中から19,500以上もの新しい安定化合物と約15万の準安定材料を同定した。その後、ab initio検証が行われ、超伝導体および超硬質材料の候補が発見された。

ABSTRACT

Crystal-graph attention networks have emerged recently as remarkable tools for the prediction of thermodynamic stability and materials properties from unrelaxed crystal structures. Previous networks trained on two million materials exhibited, however, strong biases originating from underrepresented chemical elements and structural prototypes in the available data. We tackled this issue computing additional data to provide better balance across both chemical and crystal-symmetry space. Crystal-graph networks trained with this new data show unprecedented generalization accuracy, and allow for reliable, accelerated exploration of the whole space of inorganic compounds. We applied this universal network to perform machine-learning assisted high-throughput materials searches including 2500 binary and ternary structure prototypes and spanning about 1 billion compounds. After validation using density-functional theory, we uncover in total 19512 additional materials on the convex hull of thermodynamic stability and ~150000 compounds with a distance of less than 50 meV/atom from the hull. Combining again machine learning and ab-initio methods, we finally evaluate the discovered materials for applications as superconductors, superhard materials, and we look for candidates with large gap deformation potentials, finding several compounds with extreme values of these properties.

研究の動機と目的

• 材料科学における機械学習モデルの一般化を制限する、既存の材料データベースに存在するデータバイアスを克服すること。
• 機械学習支援予測を用いて、全無機材料空間の高スループットで信頼性の高い探索を可能にすること。
• 二元および三元構造プロトタイプにおける新しい熱力学的安定および準安定材料を同定すること。
• 高い超伝導転移温度や大きなギャップ歪みポテンシャルといった極端な物性を持つ新規材料を発見すること。
• 密度汎関数理論（DFT）を用いた予測の検証と、プロトタイプ固有の最適化のための転移学習パイプラインの構築。

提案手法

• 本研究では、原子特徴、エッジ特徴、および自己注意メカニズムを用いて、非平衡結晶構造を処理する結晶グラフ自己注意ネットワーク（CGAT）を採用し、凸包からのエネルギー差を予測する。
• メッセージパッシングアーキテクチャを用い、原子の近隣原子に対するマルチヘッド自己注意を実装し、注意係数は学習されたエネルギースコアから計算され、ハイパーネットワークを介して更新される。
• エッジ特徴は別個の自己注意メカニズムを用いて反復的に更新され、ノード表現はリサンプル接続とROOSTによるグローバルコンテキストを介して精練される。
• 最終的な予測ヘッドは残差接続を用いた深層ニューラルネットワークであり、L1損失とAdamW最適化を用いて訓練され、凸包からのエネルギー距離を出力する。
• 転移学習プロトコルが適用される：初期予測はDFTで検証され、新しいデータを用いてプロトタイプ固有のモデルが微調整され、精度が向上する。
• フレームワークは2,500の二元および三元構造プロトタイプに適用され、約10億化合物をカバーし、100万個以上の材料で訓練され、156,483個の材料で検証された。

実験結果

リサーチクエスチョン

• RQ1 バランスの取れた材料データセットでトレーニングされた機械学習モデルは、化学的および結晶対称性空間における未表層的要素や構造プロトタイプを含む、全無機材料空間に一般化可能か？
• RQ2 大規模な機械学習支援の高スループットスクリーニングにより、何個の新しい熱力学的安定および準安定無機化合物が発見可能か？
• RQ3 高超伝導転移温度や大きなギャップ歪みポテンシャルといった極端な物理的物性を持つ材料の同定において、モデルの性能はいかがなものか？
• RQ4 初期スクリーニング後に、特定の結晶プロトタイプの予測精度を向上させるために、どの程度転移学習が有効に機能するか？
• RQ5 トレーニングデータ分布から逸脱する場合、本モデルの性能は既存手法と比較してどの程度優れているか？

主な発見

• モデルは約10億化合物の中から、凸包上に位置する19,512個の追加の材料を同定し、安定材料空間を顕著に拡張した。
• さらに約150,000の化合物が凸包から50 meV/atom以内に位置し、実験的合成の可能性が極めて高いと示された。
• 化学的および結晶対称性空間におけるバイアス低減を実現するデータ拡張のおかげで、類稀な一般化精度を達成した。
• 転移学習により、ガーネットおよびラドルズデン＝ポッパー層状ペロブスカイトを除くすべてのプロトタイプで、1ラウンドで平均絶対誤差（MAE）が十分に低減されたが、2ラウンド目の微調整が必要だった。
• フレームワークは、超伝導転移温度やギャップ歪みポテンシャルの極値を示す複数の化合物を効果的に同定し、ターゲット指向の材料発見における有用性を示した。
• 各CGATモデルのトレーニングには、V100で約1,000 GPU時間が必要であり、全パイプラインはガウススーパーコンputングセンタで提供される高性能コンピューティングリソースを用いて実行された。