[論文レビュー] NOMAD 2018 Kaggle Competition: Solving Materials Science Challenges Through Crowd Sourcing

Christopher Sutton, Luca M. Ghiringhelli+8 more|arXiv (Cornell University)|Nov 30, 2018

Machine Learning in Materials Science参考文献 84被引用数 20

ひとこと要約

本論文は、3,000種の(AlₓGa_yIn_z)₂O₃化合物における電子的バンドギャップおよび結晶形成エネルギーという2つの重要な材料特性を予測するための機械学習モデルを評価したNOMAD 2018 Kaggleコンペティションを提示する。最良のソリューションでは、新規の結晶グラフ表現、勾配ブースティングを用いたアンサンブル記述子、ニューラルネットワークを用いた原子位置の滑らかな重ね合わせが採用され、表現の選択が使用する回帰アルゴリズムよりもモデルの性能に顕著な影響を与えることが明らかになった。

ABSTRACT

Machine learning (ML) is increasingly used in the field of materials science, where statistical estimates of computed properties are employed to rapidly examine the chemical space for new compounds. However, a systematic comparison of several ML models for this domain has been hindered by the scarcity of appropriate datasets of materials properties, as well as the lack of thorough benchmarking studies. To address this, a public data-analytics competition was organized by the Novel Materials Discovery (NOMAD) Centre of Excellence and hosted by the on-line platform Kaggle using a dataset of $3\,000$ (Al$_x$ Ga$_y$ In$_z$)$_2$ O$_3$ compounds (with $x+y+z = 1$). The aim of this challenge was to identify the best ML model for the prediction of two key physical properties that are relevant for optoelectronic applications: the electronic band gap energy and the crystalline formation energy. In this contribution, we present a summary of the top three ML approaches of the competition including the 1st place solution based on a crystal graph representation that is new for ML of the properties of materials. The 2nd place model combined many candidate descriptors from a set of compositional, atomic environment-based, and average structural properties with the light gradient-boosting machine regression model. The 3rd place model employed the smooth overlap of atomic positions representation with a neural network. To gain insight into whether the representation or the regression model determines the overall model performance, nine ML models obtained by combining the representations and regression models of the top three approaches were compared by looking at the correlations among prediction errors. At fixed representation, the largest correlation is observed in predictions made with kernel ridge regression and neural network, reflecting a similar performance on the same test set samples.

研究の動機と目的

• 材料科学における機械学習の分野で標準化されたデータセットとベンチマーク研究の不足に対処すること。
• 複雑な酸化物材料における主要なオプトエレクトロニクス特性を予測するための多様な機械学習モデルを評価・比較すること。
• 公開型で共同作業可能なコンペティションフレームワークを用いて、材料特性予測のための最も効果的な特徴表現と回帰モデルを特定すること。
• 特徴表現とモデルアーキテクチャの相対的な影響が予測性能に与える影響についての知見を提供すること。

提案手法

• 3,000種の(AlₓGa_yIn_z)₂O₃化合物（x + y + z = 1）を含む、キュレートされたデータセットを用いてKaggle上で公開型のデータサイエンスコンペティションを実施した。
• コンペティションの焦点は、電子的バンドギャップエネルギーおよび結晶形成エネルギーの2つの物理的特性の予測に向けられた。
• 1位のソリューションでは、材料構造内の原子結合性と対称性を符号化するための新規な結晶グラフニューラルネットワーク表現が使用された。
• 2位のモデルは、組成的記述子、原子環境に基づく記述子、および平均構造的記述子を組み合わせ、ライト勾配ブースティングマシン（LGBM）回帰モデルを用いた。
• 3位の手法では、滑らかな原子位置の重ね合わせ（SOAP）表現を用い、回帰に深層ニューラルネットワークを適用した。
• 予測誤差の相関に影響を与える要因として、表現と回帰モデルの両方の影響を評価する目的で、9つのハイブリッドモデルを用いた比較分析が実施された。

実験結果

リサーチクエスチョン

• RQ1 結晶グラフ、SOAP、または複合記述子のうち、どの機械学習表現が複雑な酸化物における材料特性の予測において最も高い正確性を達成するか？
• RQ2 同じ特徴表現を用いる場合、例えばカーネルリッジ回帰、ニューラルネットワーク、勾配ブースティングといった異なる回帰モデルは、どのように性能を示すか？
• RQ3 回帰アルゴリズムの選択と比較して、特徴表現の選択がモデル性能に与える影響はどの程度強いのか？
• RQ4 多様なモデルの組み合わせにおける予測誤差の相関構造はどのようなものか？この相関構造は、モデルの一般化能力と誤差パターンに関する何を示唆するか？

主な発見

• 1位のソリューションは、新規の結晶グラフ表現に基づくもので、バンドギャップおよび形成エネルギーの両方において最高の予測正確性を達成した。
• 2位のモデルは、複数の記述子タイプを組み合わせ、ライト勾配ブースティング回帰を用いたが、テストセット全体にわたり優れた一般化性能と耐障害性を示した。
• 3位の手法は、SOAP表現とニューラルネットワークを組み合わせたもので、特に局所的構造的要因を捉える点で競争力のある性能を示した。
• 固定された表現のもとで、カーネルリッジ回帰とニューラルネットワークは、予測誤差の相関が最も高かった。これは、同じテストサンプルにおいて類似した性能パターンを示していることを示している。
• 本研究では、表現の選択が回帰モデルの選択よりもモデル性能に強い影響を与えることが、ハイブリッドモデル間の誤差相関パターンから明らかになった。
• コンペティションを通じて、材料科学の応用における機械学習予測の向上に、構造的および組成的特徴工学の重要性が浮き彫りになった。