[論文レビュー] MT-CGCNN: Integrating Crystal Graph Convolutional Neural Network with Multitask Learning for Material Property Prediction

Soumya Sanyal, Janakiraman Balachandran+5 more|arXiv (Cornell University)|Nov 14, 2018

Machine Learning in Materials Science参考文献 23被引用数 49

ひとこと要約

MT-CGCNN は結晶グラフ畳み込みネットワークとマルチタスク学習を組み合わせ、無機結晶の形成エネルギー、バンドギャップ、フェルミエネルギーを共同予測し、CGCNNのみと比べて精度とデータ効率を改善します。

ABSTRACT

Developing accurate, transferable and computationally inexpensive machine learning models can rapidly accelerate the discovery and development of new materials. Some of the major challenges involved in developing such models are, (i) limited availability of materials data as compared to other fields, (ii) lack of universal descriptor of materials to predict its various properties. The limited availability of materials data can be addressed through transfer learning, while the generic representation was recently addressed by Xie and Grossman [1], where they developed a crystal graph convolutional neural network (CGCNN) that provides a unified representation of crystals. In this work, we develop a new model (MT-CGCNN) by integrating CGCNN with transfer learning based on multi-task (MT) learning. We demonstrate the effectiveness of MT-CGCNN by simultaneous prediction of various material properties such as Formation Energy, Band Gap and Fermi Energy for a wide range of inorganic crystals (46774 materials). MT-CGCNN is able to reduce the test error when employed on correlated properties by upto 8%. The model prediction has lower test error compared to CGCNN, even when the training data is reduced by 10%. We also demonstrate our model's better performance through prediction of end user scenario related to metal/non-metal classification. These results encourage further development of machine learning approaches which leverage multi-task learning to address the aforementioned challenges in the discovery of new materials. We make MT-CGCNN's source code available to encourage reproducible research.

研究の動機と目的

• 限られた材料データと、複数の材料特性を予測するための普遍的なデスクリプタの欠如に対処する。
• CGCNN を通じて移植性があり一般化された結晶表現を導入する。
• 相関のある特性を共同予測し汎化を改善するためにマルチタスク学習を活用する。
• MT-CGCNN によるデータ効率とエンドユーザーへの有用性（金属/非金属分類）を示す。

提案手法

• 原子をノード、結合をエッジとする結晶グラフとして結晶を表現する。
• エッジゲーティングを持つ CGCNN を用いて原子表現を学習し、結晶ベクトル v_G にプーリングする。
• 各性質ごとのタスク特異的出力ヘッドを用いたハードパラメータ共有のマルチタスク学習を適用する。
• タスク間の平均二乗誤差の加重和を最適化してモデルを訓練する。
• 複数の性質ペアの実験で MT-CGCNN を CGCNN と比較しデータ効率を分析する。
• 再現性のために MT-CGCNN のソースコードを提供する。

実験結果

リサーチクエスチョン

• RQ1 結晶グラフ表現を用いたマルチタスク学習は、相関する材料特性の予測を改善できるか。
• RQ2 トレーニングデータが不足している場合、MT-CGCNN は CGCNN と比較してどう性能を発揮するか。
• RQ3 形成エネルギー、バンドギャップ、フェルミエネルギーのうち、どのタスク組み合わせが最も強い性能向上をもたらすか。
• RQ4 マルチタスク予測は、安定性による材料のランキングや金属/非金属分類などの有意なエンドユーザー洞察を維持するか。

主な発見

• MT-CGCNN はすべての実験で一貫して CGCNN を上回り、4つの実験設定で平均 MAE 改善はそれぞれ 8.3%、3.8%、1.7%、4.4% である。
• 予測されたバンドギャップ (E_g) とフェルミエネルギー (E_F) は、形成エネルギー (ΔEf) と組み合わせたマルチタスク設定で顕著な改善を示す。
• トレーニングデータが削減されても MT-CGCNN は CGCNN より MAE が良い。50% のデータで ΔEf および E_g について CGCNN の 60% データと同等以上の性能を示す。
• エンドユーザー分析は MT-CGCNN が ΔEf による材料の順序付けを維持し（高い Spearman 相関）、データ規模を問わず金属/非金属分類の AUC を改善することを示す。
• ハードパラメータ共有の MT は、いくつかのマルチタスク設定で ΔEf を劣化させる可能性があり、タスク間の関係効果を示唆する。
• MT-CGCNN のソースコードは再現性のために公開されている。