[論文レビュー] Simulations of state-of-the-art fermionic neural network wave functions with diffusion Monte Carlo

Max Wilson, Nicholas Gao+3 more|arXiv (Cornell University)|Mar 23, 2021

Quantum many-body systems参考文献 25被引用数 8

ひとこと要約

本論文は、フェルミオン系の基底状態エネルギー計算において、最新の精度を達成するため、拡散モンテカルロ法（DMC）を統合した最適化されたフェルミオン型ニューラルネットワーク波動関数であるFermi Net*を紹介する。ネットワークアーキテクチャを変更して余分な計算を排除するとともに、KFAC最適化法の改善により、ケイ素からネオンまでの原子および炭素カチオン（C⁺）において、従来の手法、特に従来のアンサッツを用いた標準的DMCを上回る優れた性能を達成した。

ABSTRACT

Recently developed neural network-based \emph{ab-initio} solutions (Pfau et. al arxiv:1909.02487v2) for finding ground states of fermionic systems can generate state-of-the-art results on a broad class of systems. In this work, we improve the results for this Ansatz with Diffusion Monte Carlo. Additionally, we introduce several modifications to the network (Fermi Net) and optimization method (Kronecker Factored Approximate Curvature) that reduce the number of required resources while maintaining or improving the modelling performance. In terms of the model, we remove redundant computations and alter the way data is handled in the permutation equivariant function. The Diffusion Monte Carlo results exceed or match state-of-the-art performance for all systems investigated: atomic systems Be-Ne, and the carbon cation C$^+$.

研究の動機と目的

• フェルミオン系のニューラルネットワークベースの波動関数の精度を、拡散モンテカルロ法（DMC）を用いて向上させること。
• 順列同値性層におけるデータフローの最適化と冗長な要素の除去により、Fermi Netアーキテクチャを最適化すること。
• VMCおよびDMCと連携して、Kronecker-Factored Approximate Curvature（KFAC）最適化法をより効果的に適用すること。
• 適切に最適化されたニューラルネットワークベースのアンサッツが、DMCにおいて従来の波動関数を上回ることを実証すること。

提案手法

• ペairワイズ相互作用項の対角成分を削除し、順列同値関数におけるデータフローを再設計することで、計算の冗長性を低減したFermi Netアーキテクチャの変更。
• 勾配クリッピング、因子付きチホノフ正則化、および適応的学習率を含む改良型KFAC最適化法を用いた変分モンテカルロ法（VMC）。
• ニューラルネットワーク波動関数を試験関数として用いた、新規のDMCアルゴリズムの実装。固定ノード近似とグリーン関数に基づく伝搬を統合。
• ハイブリッドワークフローの採用：まずKFACを用いたVMCで波動関数を最適化し、その後DMCを用いてさらに精錬することで、変分バイアスを低減。
• 重要度サンプリングとウォーカー重みによる再重み付けを組み込んだバッチ処理・並列化されたDMCスキームを採用し、統計的効率を維持。
• 試験エネルギーと局所エネルギーの差を考慮した、DMCにおける改良型エネルギー推定器の導入により、収束性と安定性を向上。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークベースのフェルミオン波動関数をDMCと組み合わせることで、フェルミオン系において従来のアンサッツを上回る低いエネルギー推定値を達成できるか？
• RQ2 Fermi Netのアーキテクチャを変更することで、例えば冗長な項の削除によって、計算効率とモデル性能にどのような影響を与えるか？
• RQ3 VMCにおけるKFAC最適化により、波動関数を最適化することで、DMCの入力状態の質がどの程度向上するか？
• RQ4 最新の神経ネットワークアンサッツを用いたDMCが、Be-NeやC⁺のような原子系において、過去の最新手法を上回る精度を達成できるか？
• RQ5 固定ノードDMC法を、非常に表現力の高いニューラルネットワーク波動関数に適用しても、顕著なバイアスを生じさせないか？

主な発見

• DMCを統合したFermi Net*モデルは、テストされた全系（ケイ素からネオン、および炭素カチオンC⁺）において、最新のエネルギー推定値を達成した。
• 改良されたFermi Netアーキテクチャは、ペアワイズ相互作用における冗長な対角項の削除と、順列同値性層におけるデータフローの最適化により、計算オーバーヘッドを低減した。
• VMCにおける改良型KFAC最適化法とその後のDMC適用の組み合わせにより、ベースラインFermi Netと比較して、顕著な変分エネルギーバイアスの低減が達成された。
• ニューラルネットワークアンサッツを用いたDMCの結果は、過去の最新手法を上回るか、同等の性能を示し、高精度な量子モンテカルロシミュレーションにおけるニューラル波動関数の有効性を実証した。
• 最適化されたニューラルネットワーク波動関数に固定ノード近似を適用しても性能が劣化せず、試験関数のバイアスが低く、ロバストであることが示された。
• KFAC最適化法における適応的学習率と勾配クリッピングの使用により、トレーニングの安定性と収束速度が向上し、最終的な波動関数の質の向上に寄与した。