[論文レビュー] Sampling-free Inference for Ab-Initio Potential Energy Surface Networks

Nicholas Gao, Stephan Günnemann|arXiv (Cornell University)|May 30, 2022

Machine Learning in Materials Science被引用数 5

ひとこと要約

この論文では、変分モンテカルロ（VMC）最適化から得られるノイズの多い中間エネルギーを用いてトレーニングするサーヴィェイリンググラフニューラルネットワーク（GNN）を採用することで、アビ・イニチオポテンシャルエネルギー表面（PES）予測を高速化するサンプリング不要な推論フレームワーク、PlaNetを紹介する。このサーヴィェイリングモデルにより、エネルギー推論がミリ秒スケールに短縮され（VMCの7桁速くなり）、化学的精度を維持する。PESNet++は、制限付きハートリー・フォック理論にインspiredされた、二重占有軌道をインダクティブバイアスとして導入することで、波動関数モデルを改善し、N₂のような困難な系においてエネルギー誤差を最大74%まで低減する。

ABSTRACT

Recently, it has been shown that neural networks not only approximate the ground-state wave functions of a single molecular system well but can also generalize to multiple geometries. While such generalization significantly speeds up training, each energy evaluation still requires Monte Carlo integration which limits the evaluation to a few geometries. In this work, we address the inference shortcomings by proposing the Potential learning from ab-initio Networks (PlaNet) framework, in which we simultaneously train a surrogate model in addition to the neural wave function. At inference time, the surrogate avoids expensive Monte-Carlo integration by directly estimating the energy, accelerating the process from hours to milliseconds. In this way, we can accurately model high-resolution multi-dimensional energy surfaces for larger systems that previously were unobtainable via neural wave functions. Finally, we explore an additional inductive bias by introducing physically-motivated restricted neural wave function models. We implement such a function with several additional improvements in the new PESNet++ model. In our experimental evaluation, PlaNet accelerates inference by 7 orders of magnitude for larger molecules like ethanol while preserving accuracy. Compared to previous energy surface networks, PESNet++ reduces energy errors by up to 74%.

研究の動機と目的

• 神経波動関数法におけるエネルギー推論の高い計算コストを軽減し、大規模分子シミュレーションへの応用を促進すること。
• 変分モンテカルロ（VMC）におけるモンテカルロ統合のボトルネックを、高速なサーヴィェイリング推論に置き換えること。
• 物理的に意味のあるアーキテクチャ制約を導入することで、複数の分子幾何構造にわたる神経波動関数の一般化性能と精度を向上させること。
• 従来のVMCベースの神経波動関数では不可能だった、高分解能かつ多次元のポテンシャルエネルギー表面の探索を可能にすること。

提案手法

• VMC最適化から得られるノイズの多い中間エネルギー推定値を用いて、サーヴィェイリンググラフニューラルネットワーク（GNN）をトレーニングし、通常は捨てられてしまうトレーニング信号を再利用する。
• VMC最適化中に変化するエネルギー分布とノイズの多いラベルに対応するため、サーヴィェイリングトレーニングをオンライン学習問題として定式化する。
• ラベルノイズの影響を軽減し、サーヴィェイリングの一般化性能を向上させるために、時間的データ集約を実装する。
• 制限付きハートリー・フォック理論にインspiredされた、二重占有軌道をインダクティブバイアスとして組み込んだ、制限付き神経波動関数モデルPESNet++を導入する。
• PESNet++をPlaNetフレームワークと組み合わせることで、複数の分子幾何構造にわたる高速かつ高精度でスケーラブルな推論を実現する。
• トレーニング済みのサーヴィェイリングモデルを推論に使用し、モンテカルロ統合を完全に回避することで、推論時間を数時間からミリ秒に短縮する。

実験結果

リサーチクエスチョン

• RQ1 中間のVMCエネルギーは、神経波動関数モデルにおける高速かつ高精度な推論のためのサーヴィェイリングを学習するために効果的に再利用可能か？
• RQ2 ノイズが多く変化するVMC推定値に基づいてトレーニングされたサーヴィェイリングモデルは、推論速度を7桁以上高速化しても、精度を維持できるか？
• RQ3 二重占有軌道という物理的インダクティブバイアスを組み込むことで、複数の幾何構造にわたる神経波動関数の性能はどのように向上するか？
• RQ4 PlaNetフレームワークは、エタノールのような大きな分子においても、高分解能かつ多次元のポテンシャルエネルギー表面の探索を可能にするか？
• RQ5 アビ・イニチオ量子化学において、モンテカルロ統合を学習済みサーヴィェイリングに置き換える際の、推論速度と精度のトレードオフは何か？

主な発見

• PlaNetにより、エタノールの1幾何構造あたりの推論時間が約2.7時間から118マイクロ秒に短縮され、7桁の高速化が達成されながらも、精度に損なわれない。
• サーヴィェイリングモデルのトレーニングは、エタノールのような大きな系ですでに0.2%未満であり、全トレーニング時間の1%未満にとどまる。
• PESNet++は、窒素分子（N₂）においてPESNetと比較してエネルギー誤差を最大74%まで低減し、VMCベースの神経波動関数の分野で新たな最先端水準を確立した。
• PlaNetは、従来の神経波動関数手法では達成できなかった高分解能かつ多次元のエネルギー表面（例：2次元のトランスレーションスキャン）を正確に再現した。
• フレームワークにより、従来不可能だった応用例が可能になった。例えば、全ポテンシャルエネルギー表面スキャンや、数十万回以上のエネルギー評価を要する分子動力学シミュレーションが可能になった。
• サーヴィェイリングトレーニング中に実施した時間的データ集約は、中間のVMCエネルギー由来のノイズを効果的に低減し、安定かつ高精度なモデル収束を可能にした。