[論文レビュー] Equivariant Networks for Crystal Structures

Sékou-Oumar Kaba, Siamak Ravanbakhsh|arXiv (Cornell University)|Nov 15, 2022

Machine Learning in Materials Science被引用数 8

ひとこと要約

本稿では、結晶格子の対称性群 $G_{\Lambda} \times S_C$ を活用することで、結晶構造向けの等長性ニューラルネットワークを提案する。この手法により、結晶グラフ上での群等長性メッセージパッシングおよび畳み込み層が設計され、物性予測タスクにおいて最先端または競争力のある性能を達成した。特に、ペロブスカイト系データセット Perov-5 において一般化性能が向上することが示された。

ABSTRACT

Supervised learning with deep models has tremendous potential for applications in materials science. Recently, graph neural networks have been used in this context, drawing direct inspiration from models for molecules. However, materials are typically much more structured than molecules, which is a feature that these models do not leverage. In this work, we introduce a class of models that are equivariant with respect to crystalline symmetry groups. We do this by defining a generalization of the message passing operations that can be used with more general permutation groups, or that can alternatively be seen as defining an expressive convolution operation on the crystal graph. Empirically, these models achieve competitive results with state-of-the-art on property prediction tasks.

研究の動機と目的

• 標準的なグラフニューラルネットワーク（GNN）が、分子よりもより秩序的かつ対称的な結晶構造の完全な対称性を捉えられていないという限界を解決すること。
• ブラーヴァス格子（$G_\Lambda$）と単位格子の置換（$S_C$）の組み合わせ対称性群に等長性を示す深層学習モデルのクラスを構築すること。これにより、より表現力があり物理的に整合性のある関数近似が可能になる。
• 結晶固有の対称性を誘導的バイアスとして組み込むことで、物性予測タスクにおける性能向上を実証すること。
• 再現可能な評価のため、Materials Project データセットをクリーニング・処理し、公開すること。
• 標準的な分割と評価プロトコルを用いて、提案モデルを CGCNN、MEGNet、SchNet などの最先端ベースラインと比較すること。

提案手法

• 著者らは、結晶の対称性群 $G_\Lambda \times S_C$ の作用に関して等長性を保つ一般化されたメッセージパッシングフレームワークを定義し、標準的な GNN がノードの置換に対してのみ等長性を示すのを拡張した。
• 2つのモデルバリエーションを導入した：ECN-$P\bar{1}$ は格子点上の完全な対称群 $S_\Lambda$ を使用し、ECN-$S_\Lambda$ はより小さい、構造が明確な群を用いて対称性を保持しながら表現力を向上させた。
• モデルは、周期的格子と単位格子構造に基づいた、畳み込みニューラルネットワーク（CNN）に類似した群等長性畳み込み操作を実装した。
• 階層的なメッセージパッシング機構を採用し、結晶学的対称性を尊重することで、対称性を保つ変換に対して予測が不変になるようにした。
• 回帰タスクには平均二乗誤差（MSE）、分類タスクには交差エントロピーを損失関数として使用し、評価指標には MAE と金属／非金属分類の精度を用いた。
• 公平な比較のため、同じデータ分割と前処理・学習プロトコルを用いて、ベースラインモデル（CGCNN、MEGNet）を再学習した。

実験結果

リサーチクエスチョン

• RQ1 結晶固有の対称性群（$G_\Lambda \times S_C$）をニューラルネットワークアーキテクチャに組み込むことで、標準的な GNN よりも物性予測タスクで性能向上が達成できるか？
• RQ2 対称性群の選択（例：$S_\Lambda$ と $P\bar{1}$）が、結晶データにおけるモデルの表現力と一般化性能に与える影響は？
• RQ3 対称性に配慮した等長性が、より小さいかより構造的なデータセット（例：Perov-5）では、より大きな多様なデータセット（例：Materials Project）と比較して、一般化性能にどの程度寄与するか？
• RQ4 等長性メッセージパッシングは、結晶に限らず、疎で対称的な相互作用を持つ他のデータ構造へ一般化可能か？
• RQ5 同じデータ分割と前処理で学習・評価した場合、対称性に配慮したモデルの性能は、SOTA の GNN と比べてどうか？

主な発見

• Materials Project データセットにおいて、ECN-$S_\Lambda$ モデルは形成エネルギー予測で 0.281 ± 0.007 eV/atom の平均絶対誤差（MAE）を達成し、同じプロトコルで再学習した元の CGCNN（0.039 MAE）と MEGNet（0.028 MAE）を上回った。
• バンドギャップ予測では、ECN-$S_\Lambda$ モデルが 0.390 ± 0.02 eV の MAE を達成し、同じ分割でベースラインと同等またはそれ以上の性能を示した。
• Perov-5 データセットでは、ECN-$S_\Lambda$ モデルが生成熱予測で 0.038 ± 0.004 eV/atom の MAE を達成し、CGCNN（0.047 ± 0.000）と MEGNet（0.059 ± 0.006）を顕著に上回った。
• 非金属分類において、ECN-$S_\Lambda$ モデルは 83.2% ± 1.0 の精度を達成し、元の MEGNet（90.6%）を上回ったが、対称性の整合性が高いため、分割間での性能の一貫性が向上した。
• 結果から、対称性に配慮した設計による表現力の向上が、一般化コストを上回ることが示された。特に、構造的規則性が強いデータセット（例：Perov-5）では顕著な向上が見られた。
• 本研究は、対称性が強力な誘導的バイアスであることを示した。結晶対称性群に等長性を示すモデルは、一般化性能が向上し、特に構造的規則性が強いデータで顕著に効果を発揮する。