[論文レビュー] $O(N^2)$ Universal Antisymmetry in Fermionic Neural Networks

Tianyu Pang, Shuicheng Yan+1 more|arXiv (Cornell University)|May 26, 2022

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、$O(N^2)$の普遍的反対称性構築法を、$O(N^3)$のスレーター行列式に代えて、置換等変換性を持つ多電子ニューラルネットワークに基づくペアワイズ反対称化スキームを用いることで、フェルミオン系ニューラルネットワークに提案する。この手法は、連続的近似器を用いて任意の反対称波動関数、特に基底状態を普遍的に近似可能にし、計算コストを削減しながら表現力を維持する。

ABSTRACT

Fermionic neural network (FermiNet) is a recently proposed wavefunction Ansatz, which is used in variational Monte Carlo (VMC) methods to solve the many-electron Schrödinger equation. FermiNet proposes permutation-equivariant architectures, on which a Slater determinant is applied to induce antisymmetry. FermiNet is proved to have universal approximation capability with a single determinant, namely, it suffices to represent any antisymmetric function given sufficient parameters. However, the asymptotic computational bottleneck comes from the Slater determinant, which scales with $O(N^3)$ for $N$ electrons. In this paper, we substitute the Slater determinant with a pairwise antisymmetry construction, which is easy to implement and can reduce the computational cost to $O(N^2)$. We formally prove that the pairwise construction built upon permutation-equivariant architectures can universally represent any antisymmetric function. Besides, this universality can be achieved via continuous approximators when we aim to represent ground-state wavefunctions.

研究の動機と目的

• フェルミオン系の$N$電子系において、$O(N^3)$の計算ボトル neck を示すスレーター行列式の問題を解決すること。
• 反対称関数の普遍的近似能力を維持しつつ、スレーター行列式の代替として計算効率の高い手法を開発すること。
• 置換等変換性を持つニューラルネットワークを用いたペアワイズ反対称化が、任意の反対称波動関数（基底状態を含む）を普遍的に表現できることを証明すること。
• 計算複雑度を$O(N^3)$から$O(N^2)$に低減させることで、フェルミオン系ニューラルネットワークに類似したモデルをより大きな分子系にスケーラブルに適用可能にする。
• ハートリー・フォック初期化なしで、小原子系における提案手法の実用的妥当性とスケーラビリティを実証すること。

提案手法

• フェルミオン系ニューラルネットワークにおけるスレーター行列式を、2つの多電子ニューラルネットワーク$\phi_A$および$\phi_B$に基づくペアワイズ反対称化構成に置き換える。
• 波動関数を$\psi_{\textrm{pair}}(x) = \det\left[ \mathcal{A} \circ F(x_i, x_j) \right]$として構築する。ここで$F$は反対称化されたペアワイズ項の行列である。
• すべての電子を除く$j$番目の電子を除く置換に対して不変である、置換等変換性を持つニューラルネットワーク$\phi_A(x_j; \{x_{\setminus j}\})$および$\phi_B(x_j; \{x_{\setminus j}\})$を採用する。
• 関数$F(x_i, x_j)$の行列に、$\phi_A$および$\phi_B$から導かれるものを用い、ペアワイズ反対称化作用素$\mathcal{A}$を適用する。
• ペアワイズ構成のモデル族が、単一行列式フェルミオン系ニューラルネットワークよりも表現力が厳密に強く、任意の反対称関数を普遍的に表現可能であることを証明する。
• 連続的近似器を用いることで、基底状態波動関数の普遍的近似が達成可能であり、有限容量のニューラルネットワークでも実現可能であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 フェルミオン系ニューラルネットワークにおけるスレーター行列式を、反対称関数の普遍的近似能力を維持したまま、ペアワイズ反対称化スキームに置き換えられるか？
• RQ2 提案された$O(N^2)$構成は、連続的近似器を用いて基底状態波動関数を表現する能力を保持しているか？
• RQ3 新しい構成の計算複雑度は$O(N^2)$に低減されているが、表現力は維持されているか？
• RQ4 この手法は、パウリネットのような行列式に基づくアーキテクチャにも容易に拡張可能か？
• RQ5 小原子系におけるペアワイズ構成の実験的性能は、フェルミオン系ニューラルネットワークと比べてどうか？

主な発見

• 提案されたペアワイズ反対称化手法は、$O(N^2)$の計算複雑度を達成し、標準的なフェルミオン系ニューラルネットワークにおける$O(N^3)$のボトル neck を軽減する。
• ペアワイズ構成のモデル族が、任意の反対称関数（基底状態波動関数を含む）を普遍的に表現可能であることが証明された。
• 連続的近似器を用いても、普遍的近似能力が維持され、有限容量のニューラルネットワークでも実現可能である。
• リチウム、ベリリウム、ボロン、カーボン、窒素の原子における実験的結果から、ペアワイズ構成は正確な値に近い基底状態エネルギー推定値を達成しており、リチウムおよびベリリウムでは$\psi''_{\textrm{pair}}$が正確なエネルギー値と$0.001$ハートリー以内に一致している。
• ボロン、カーボン、窒素のようなより大きな原子では、エネルギーのずれが大きくなることから、より高いモデル容量を要することが示唆され、より複雑なアーキテクチャの必要性が示された。
• この手法は、既存のフェルミオン系ニューラルネットワークおよびパウリネットのアーキテクチャと互換性があり、最小限のアーキテクチャ的変更で直接統合可能である。