[論文レビュー] Crystal Structure Representations for Machine Learning Models of Formation Energies

Felix A. Faber, Alexander Lindmaa+2 more|arXiv (Cornell University)|Jan 1, 2015

Machine Learning in Materials ScienceMaterials Science参考文献 3被引用数 18

ひとこと要約

本論文は、固体の格子エネルギー予測を目的とした機械学習モデル向けに、Ewald和行列、拡張コーシー行列、およびサイン行列の3種類の結晶構造表現を提案し、評価している。3,938構造からなるMaterials Projectデータセットを用いたカーネルリッジ回帰の結果、サイン行列表現が0.37 eV/atomという最小の汎化誤差を達成し、Ewald表現（0.49 eV/atom）および拡張コーシー表現（0.64 eV/atom）を上回り、計算コストの観点でも最も効率的であった。

ABSTRACT

We introduce and evaluate a set of feature vector representations of crystal structures for machine learning (ML) models of formation energies of solids. ML models of atomization energies of organic molecules have been successful using a Coulomb matrix representation of the molecule. We consider three ways to generalize such representations to periodic systems: (i) a matrix where each element is related to the Ewald sum of the electrostatic interaction between two different atoms in the unit cell repeated over the lattice; (ii) an extended Coulomb-like matrix that takes into account a number of neighboring unit cells; and (iii) an Ansatz that mimics the periodicity and the basic features of the elements in the Ewald sum matrix by using a sine function of the crystal coordinates of the atoms. The representations are compared for a Laplacian kernel with Manhattan norm, trained to reproduce formation energies using a data set of 3938 crystal structures obtained from the Materials Project. For training sets consisting of 3000 crystals, the generalization error in predicting formation energies of new structures corresponds to (i) 0.49, (ii) 0.64, and (iii) 0.37 eV/atom for the respective representations.

研究の動機と目的

• 分子の機械学習表現（例：コーシー行列）が成功を収めたのを踏まえ、周期的結晶系へ一般化すること。
• 機械学習を用いた格子エネルギー予測において、3つの異なる結晶構造表現の性能を評価すること。
• 固体の格子エネルギーモデリングにおいて、最も効率的で正確な表現を特定すること。
• トレーニングデータセットのサイズとデータの多様性が、モデルの汎化誤差に与える影響を評価すること。
• 周期的系において、第一原理計算に近い精度を達成する可能性を検討すること。

提案手法

• Ewald和行列表現は、周期的境界条件を考慮したEwald和の技法を用いて、単位格子内の原子間の静電的相互作用を計算する。
• 拡張コーシー行列表現は、コーシー行列の概念を拡張し、隣接する単位格子との相互作用を含めることで、長距離的な周期的効果を捉える。
• サイン行列表現は、Ewald和の周期的特徴を原子座標の正弦関数で近似することで、計算コストを削減しながらも、主要な構造的特徴を保持する。
• Materials Projectの格子エネルギーデータを用い、ラプラシアンカーネルとマンハッタンノルムを用いたカーネルリッジ回帰によりモデルを学習する。
• 特徴表現の構造を可視化し、クラスタリング性と分離性を評価するために主成分分析（PCA）を適用する。
• 交差検証を用いて、さまざまなサイズのトレーニングセットで汎化誤差を評価し、誤差はeV/atom単位で測定する。

実験結果

リサーチクエスチョン

• RQ1 分子に成功したコーシー行列表現を、格子エネルギー予測のための周期的結晶系へ効果的に一般化できるか？
• RQ2 Ewald和、拡張コーシー、サイン行列の3つの異なる結晶構造表現は、予測精度と計算コストの観点でどのように比較できるか？
• RQ3 トレーニングデータセットのサイズが増加するにつれて汎化誤差は減少するか？これはモデルのスケーラビリティに何を示唆するか？
• RQ4 同じ手法を用いても、なぜ固体系の機械学習モデルの性能は分子系よりも著しく劣るのか？
• RQ5 よりコンパクトで化学的に制限されたデータサブセットを用いることで、モデルの精度が向上し、大規模なトレーニングデータの必要性が減少するのだろうか？

主な発見

• サイン行列表現は、3,000構造のトレーニングセットで0.37 eV/atomという最小の汎化誤差を達成し、Ewald和行列（0.49 eV/atom）および拡張コーシー行列（0.64 eV/atom）を上回った。
• 3つの表現すべてが、トレーニングデータセットのサイズが増加するにつれて汎化誤差が系統的に低下しており、より大きなデータセットがあればさらなる改善が期待できる。
• サイン行列表現は、最も正確であるだけでなく、計算コストの観点でも最も効率的であり、大規模応用において最も実用的である。
• 主成分分析の結果、明確なクラスタリングパターンが観察された：Ewald和行列は強いクラスタリングと外れ値を示したが、サイン行列と拡張コーシー行列は構造的に類似していた。
• 分子系と固体系の性能格差は、QM7分子データセットと比較してMaterials Projectデータセットに含まれる化学的・構造的多様性が大きいことに起因すると考えられる。
• 本結果から、より大きなデータセット、あるいはより制限されたデータセットを用いることで、固体格子エネルギーの機械学習モデルが第一原理計算に近い精度に達する可能性があると示唆された。