[論文レビュー] DeepErwin

Michael Scherbela, Leon Gerard+1 more|arXiv (Cornell University)|Mar 17, 2023

Machine Learning in Materials ScienceMaterials Science被引用数 3

ひとこと要約

この論文では、ハートリー・フォック軌道をグラフニューラルネットワークを介して高精度なニューラルネットワーク軌道へ写像する、基礎波動関数モデルであるDeepErwinを紹介する。これにより、分子間での転移学習が可能となる。多様な化合物で事前学習することで、標準的な訓練に比べ20倍速くCCSD(T)-同等の精度を達成する最小限のファインチューニングが可能となる。

ABSTRACT

Deep neural networks have become a highly accurate and powerful wavefunction ansatz in combination with variational Monte Carlo methods for solving the electronic Schrödinger equation. However, despite their success and favorable scaling, these methods are still computationally too costly for wide adoption. A significant obstacle is the requirement to optimize the wavefunction from scratch for each new system, thus requiring long optimization. In this work, we propose a novel neural network ansatz, which effectively maps uncorrelated, computationally cheap Hartree-Fock orbitals, to correlated, high-accuracy neural network orbitals. This ansatz is inherently capable of learning a single wavefunction across multiple compounds and geometries, as we demonstrate by successfully transferring a wavefunction model pre-trained on smaller fragments to larger compounds. Furthermore, we provide ample experimental evidence to support the idea that extensive pre-training of a such a generalized wavefunction model across different compounds and geometries could lead to a foundation wavefunction model. Such a model could yield high-accuracy ab-initio energies using only minimal computational effort for fine-tuning and evaluation of observables.

研究の動機と目的

• 新しい分子系ごとに深層ニューラルネットワーク波動関数を再訓練する際の高い計算コストを克服すること。
• パラメータ効率的でサイズに依存しないアーキテクチャを用いて、異なる分子や幾何配置にわたる波動関数モデルの一般化を可能にすること。
• 多様な化合物で事前学習された基礎波動関数モデルを確立し、完全な再最適化の必要性を低減すること。
• 広範な事前学習が、精度と転送可能性の系統的向上をもたらすことを示すこと。
• ファインチューニングによって、CCSD(T)-ccpVTZなどの従来の高精度手法をはるかに低い計算コストで凌駆すること。

提案手法

• グラフニューラルネットワーク（GNN）が核座標と初期の軌道記述子を処理し、システムサイズに依存しない学習済みの相関軌道を生成する。
• 対称および反対称成分を備えたメッセージパッシングアーキテクチャを用いることで、適切なフェルミオン統計を保証する。
• 電子埋め込みと軌道記述子を結合する学習可能な関数により電子軌道を構築し、スピンおよび空間対称性を保証する。
• 学習済み軌道のスレイター行列式として波動関数を構築し、反対称活性化関数を用いて対称性を強制する。
• 小さな分子断片での事前学習により、大きな、化学的に類縁な化合物への転移がファインチューニングによって可能となる。
• 各バッチあたりの高価なGNNおよび軌道ネットワークの評価を分離することで、計算オーバーヘッドを低減する。

実験結果

リサーチクエスチョン

• RQ1 複数の分子および幾何配置にわたって単一のニューラルネットワーク波動関数モデルを事前学習し、新規システムにおける高速かつ高精度な予測を可能にすることができるか？
• RQ2 小さな分子断片での事前学習が、より大きな、化学的に類縁な化合物における精度と一般化性能の向上に寄与するか？
• RQ3 最小限のファインチューニングでCCSD(T)レベルの精度に達することができるか。これにより計算コストが桁違いに低減されるか？
• RQ4 モデルサイズ、データサイズ、および事前学習ステップ数が、最終的な波動関数モデルの精度および転送可能性にどのように影響するか？
• RQ5 GLOBEなどの同時期の手法と比較して、本手法は多様な化合物にわたるエネルギー精度および一般化性能において優れているか？

主な発見

• 小さな分子断片での事前学習により、化学的に類縁な大きな化合物への転送が、相対的エネルギー予測において高い精度で成功した。
• 事前学習済みのDeepErwinモデルのファインチューニングにより、新しいモデルを再訓練するのと比べて約20倍速くCCSD(T)-ccpVTZレベルの精度に到達した。
• モデルサイズ、データサイズ、および事前学習ステップ数の体系的スケーリングにより、波動関数精度に一貫的かつ顕著な向上が得られた。
• 特に分布外の分子において、GLOBEと比較して絶対エネルギーが低く、相対的エネルギー計算の精度が高かった。
• アーキテクチャのサイズ不変性により、異なるサイズの分子間で重みを共有でき、従来の波動関数アンサンブルの主要な制限を克服した。
• 分布内および分布外の分子において、高い精度を維持し、強力な一般化能力を示した。