[論文レビュー] Equivariant Message Passing Neural Network for Crystal Material Discovery

Astrid Klipfel, Olivier Peltre+4 more|arXiv (Cornell University)|Feb 1, 2023

Machine Learning in Materials ScienceMaterials Science被引用数 3

ひとこと要約

この論文では、ユークリッド群 $Euc(3)$ および整数特殊線形群 $ ext{SL}_3(/mathbb{Z})$ における不変性を強制することで、結晶格子の歪みをモデル化する、新規な等長性メッセージパッシングニューラルネットワーク（EMPNN）を提案する。これにより、教師なしの結晶生成と緩和が可能となり、不変ベースラインおよびDFTを上回る性能を示す。幾何学的等長性とベクトル場ベースのメッセージパッシングを活用することで、格子再構築およびノイズ除去の分野で最先端の性能を達成した。

ABSTRACT

Automatic material discovery with desired properties is a fundamental challenge for material sciences. Considerable attention has recently been devoted to generating stable crystal structures. While existing work has shown impressive success on supervised tasks such as property prediction, the progress on unsupervised tasks such as material generation is still hampered by the limited extent to which the equivalent geometric representations of the same crystal are considered. To address this challenge, we propose EMPNN a periodic equivariant message-passing neural network that learns crystal lattice deformation in an unsupervised fashion. Our model equivalently acts on lattice according to the deformation action that must be performed, making it suitable for crystal generation, relaxation and optimisation. We present experimental evaluations that demonstrate the effectiveness of our approach.

研究の動機と目的

• 既存の機械学習モデルにおける幾何学的等長性の欠如に対処すること。
• 周期的結晶格子のための、$Euc(3)$ および $\text{SL}_3(\mathbb{Z})$ の両群作用における等長性を強制する一般的なフレームワークの開発。
• 応力テンソルやラベル付き力に依存せずに、格子歪みをモデル化することで、教師なし学習による結晶材料探索を可能にすること。
• 構造的な幾何学的インダクティブバイアスを通じて、格子再構築およびノイズ除去タスクにおける一般化性能とロバスト性の向上。
• 勾配および三重項から導かれるベクトル場がモデル性能を向上させることの有効性を実証すること。

提案手法

• モデルは、$Euc(3)$ および $\text{SL}_3(\mathbb{Z})$ における等長性を保証するメッセージパッシングニューラルネットワークアーキテクチャを採用し、格子歪みに対して一貫した表現を実現する。
• エッジ、不変量の勾配、三重項（角度および面積）から定義される複数のベクトル場を用いて、メッセージパッシング中に幾何的情報を符号化する。
• 極座標分解を介して対称行列を組み込み、格子歪みをモデル化するが、一般化性能の向上を目的に緩められた対称性制約（'sym'）を導入する。
• 再構築された格子パラメータ（長さおよび角度）における平均絶対誤差（MAE）を最小化する損失関数を設計し、'ket-bra'、'gradient'、'triplets' などのバリエーションを含む。
• 原子とその相対的位置のグラフ表現を用い、幾何学的に一貫した方法でノード間でメッセージを伝達し、潜在表現を更新する。
• 真の応力や力テンソルを必要とせず、ランダムな格子歪みを用いた教師なし学習でモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 教師なしまたはラベル付き力に依存せずに、等長性MPNNフレームワークが結晶格子歪みを効果的にモデル化できるか？
• RQ2 $\text{SL}_3(\mathbb{Z})$ における等長性の強制が、結晶構造再構築およびノイズ除去における一般化性能にどのように寄与するか？
• RQ3 異なるベクトル場定義（例：勾配ベース対比・三重項ベース）がモデル性能に与える相対的影響は何か？
• RQ4 EMPNNは、不変モデルおよびDFTと比較して、歪んだ入力からの元の結晶格子の再構築において、どのように性能を発揮するか？
• RQ5 幾何学的インダクティブバイアスにより、分布外の結晶構造に対してもモデルは一般化可能か？

主な発見

• EMPNNは、炭素-24およびMp-20において不変フィードフォワードベースライン（FF）を上回り、格子長さのMAEがそれぞれ0.200 Åおよび0.174 Åを達成したのに対し、FFは0.469 Åおよび0.534 Åであった。
• Perov-5では構造が一様に立方晶であるため、FFベースラインとEMPNNの性能が類似しており、格子パラメータの正規化表現のおかげで等長性の恩恵が限定的であることが示唆された。
• DFTはCarbon-24およびMp-20で格子パラメータを改善したが、Perov-5では失敗しており、歪み後に局所エネルギー極小点から離れた結晶ではDFTが困難であることが示された。
• 不変量の勾配から導かれるベクトル場は一貫した改善をもたらし、特に1グラフでは優れた性能を示した。一方、三重項ベースの場は面積および角度情報と組み合わせて優れた性能を発揮した。
• 'ket-bra' ベクトル場バリエーションは1グラフで最も優れた性能を示したが、勾配ベースの場は2グラフで優れた性能を示し、メッセージパッシングにおけるグラフ構造の重要性を示した。
• EMPNNは全データセットで格子再構築における最小のMAEを達成し、Carbon-24では0.200 Åおよび3.199°、Mp-20では0.174 Åおよび1.965°を記録した。これは、優れた一般化性能およびロバスト性を示している。