[論文レビュー] General framework for E(3)-equivariant neural network representation of density functional theory Hamiltonian

Xiaoxun Gong, He Li+4 more|arXiv (Cornell University)|Oct 25, 2022

Machine Learning in Materials Science被引用数 10

ひとこと要約

この論文は、材料構造を入力として密度汎関数理論（DFT）ハミルトニアンを表現するE(3)等変性の深層学習フレームワーク、DeepH-E3を紹介している。空間的およびスピン自由度にわたる等変性を明示的に強制することで、ユークリッド対称性（スピン軌道結合を含む）を保ちながら、電子構造予測において1meV未塔の精度を達成し、小スケール系からのデータを用いて10⁴原子を超える大規模スーパセルに対してもab initioレベルの精度を実現する。

ABSTRACT

Combination of deep learning and ab initio calculation has shown great promise in revolutionizing future scientific research, but how to design neural network models incorporating a priori knowledge and symmetry requirements is a key challenging subject. Here we propose an E(3)-equivariant deep-learning framework to represent density functional theory (DFT) Hamiltonian as a function of material structure, which can naturally preserve the Euclidean symmetry even in the presence of spin-orbit coupling. Our DeepH-E3 method enables very efficient electronic-structure calculation at ab initio accuracy by learning from DFT data of small-sized structures, making routine study of large-scale supercells ($> 10^4$ atoms) feasible. Remarkably, the method can reach sub-meV prediction accuracy at high training efficiency, showing state-of-the-art performance in our experiments. The work is not only of general significance to deep-learning method development, but also creates new opportunities for materials research, such as building Moiré-twisted material database.

研究の動機と目的

• 電子構造表現における完全なユークリッド（E(3)）対称性、特にスピン軌道結合を含むものを保持する深層学習フレームワークの開発。
• 従来の等変性ネットワークがハミルトニアンモデル化においてスピン自由度を無視するという限界を克服すること。
• 小スケールのDFT最適化構造からの学習により、大規模スーパセル（>10⁴原子）における電子構造の正確かつ効率的な予測を可能にすること。
• 局所座標変換を手動で選択する依存性を排除し、対称性をニューラルネットワークアーキテクチャに直接埋め込むこと。
• 高スループット材料モデリングに適した普遍的で微分可能かつ対称性を保つDFTハミルトニアンの表現を確立すること。

提案手法

• 回転、並進、スピン軌道結合に対する正確な変換性を保証するため、e3nnライブラリを用いたE(3)等変性ニューラルネットワーク（ENN）を採用。
• 回転群の可約表現（l = 0〜5）に従って変化する頂点およびエッジ特徴量を用いたグラフベースのアーキテクチャを採用し、偶（e）および奇（o）パリティ成分を含む。
• 入力特徴量として固定間隔および幅パラメータを有するガウス基底関数を用い、原子間の径方向距離に基づいて定義。
• スケールの異なる特徴量の更新を実現するため、3つの頂点および3つのエッジ更新ブロックを用い、各ブロックはEquiConv層とSiLUおよびシグモイド活性化関数を組み合わせた非線形変換を実行。
• ゲート付き残差接続機構を採用し、l=0のスカラー成分が学習された活性化関数を介して高ランクテンソル特徴量を制御。
• 予測されたハミルトニアン行列とDFTで計算された行列との平均二乗誤差を最小化することで、ハミルトニアン行列をエンドツーエンドで予測し、すべての物理的観測量は出力ハミルトニアンから導出される。

実験結果

リサーチクエスチョン

• RQ1 E(3)等変性の深層学習モデルは、回転対称性およびスピン軌道結合対称性を完全に保持しながら、DFTハミルトニアンを正確に表現できるか？
• RQ2 スピン自由度を無視するか、局所座標変換に依存する従来手法と比較して、E(3)等変性フレームワークの性能はどのように異なるか？
• RQ3 小スケールのスーパセル（例：4×4）で学習したモデルが、10⁴原子を超える大規模スーパセルの電子構造をどの程度正確に一般化して予測できるか？
• RQ4 スピン軌道結合を明示的にモデル化することで、トポロジカル材料における予測精度および対称性保持にどのような影響を与えるか？
• RQ5 サブmeVレベルのエネルギー予測精度を維持しながら、高い計算効率を達成できるか？

主な発見

• DeepH-E3モデルは、グラフェン、MoS₂、ビスマス chalcogenidesを含むすべてのテスト材料で1meV未塔の平均絶対誤差（MAE）を達成した。
• 10⁴原子を超えるスーパセルに対しても正確な電子構造計算が可能であり、高スループット材料スクリーニングの実現可能性を示した。
• 回転に対してスピンと軌道自由度を結合して扱うことで、スピン軌道結合を含む完全なE(3)等変性を明示的に維持した。
• 小スケールのスーパセル（例：4×4グラフェン）で学習したことで、より大きな系の正確な予測が可能であり、モデルの一般化能力が訓練サイズを超えて有効であることを確認した。
• 特にBi₂Se₃やBi₂Te₃のような強いスピン軌道結合を示す系において、既存手法に比べて精度と対称性保持の両面で優れた性能を示した。
• 多様な材料に対して一貫した高い性能を示し、ほとんどのテストケースでMAEが0.5 meV未塔に抑えられ、ハミルトニアン表現分野における最先端の精度を確認した。