[논문 리뷰] $O(N^2)$ Universal Antisymmetry in Fermionic Neural Networks

Tianyu Pang, Shuicheng Yan외 1명|arXiv (Cornell University)|2022. 05. 26.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 $O(N^2)$의 보편적인 반대칭성 구축을 제안하며, $O(N^3)$의 슬래터 행렬식 대신 순열-등변성 다전자 신경망 기반의 쌍별 반대칭화 기법을 사용하여 페르미온 신경망의 반대칭성을 구현한다. 이 방법은 연속적인 근사기법을 사용하여 어떤 반대칭 파동함수, 특히 기본 상태를 보편적으로 근사할 수 있으며, 계산 비용을 줄이면서도 표현력을 유지한다.

ABSTRACT

Fermionic neural network (FermiNet) is a recently proposed wavefunction Ansatz, which is used in variational Monte Carlo (VMC) methods to solve the many-electron Schrödinger equation. FermiNet proposes permutation-equivariant architectures, on which a Slater determinant is applied to induce antisymmetry. FermiNet is proved to have universal approximation capability with a single determinant, namely, it suffices to represent any antisymmetric function given sufficient parameters. However, the asymptotic computational bottleneck comes from the Slater determinant, which scales with $O(N^3)$ for $N$ electrons. In this paper, we substitute the Slater determinant with a pairwise antisymmetry construction, which is easy to implement and can reduce the computational cost to $O(N^2)$. We formally prove that the pairwise construction built upon permutation-equivariant architectures can universally represent any antisymmetric function. Besides, this universality can be achieved via continuous approximators when we aim to represent ground-state wavefunctions.

연구 동기 및 목표

• N-전자 체계에서 페르미넷의 $O(N^3)$ 계산 병목 현상을 해결하기 위해.
• 반대칭 함수에 대한 보편적 근사 능력을 유지하면서도 계산 비용이 적은 슬래터 행렬식의 대안을 개발하기 위해.
• 순열-등변성 신경망을 사용한 쌍별 반대칭화가 어떤 반대칭 파동함수, 특히 기본 상태를 보편적으로 표현할 수 있음을 증명하기 위해.
• 계산 복잡도를 $O(N^3)$에서 $O(N^2)$로 줄여 페르미넷 유사 모델을 더 큰 분자 체계에 확장 가능하게 하기 위해.
• 하트리-폭 초기화 없이도 소규모 원자에서 제안된 방법의 실험적 타당성과 확장성을 입증하기 위해.

제안 방법

• 페르미넷의 슬래터 행렬식을 두 개의 다전자 신경망 $\phi_A$ 및 $\phi_B$ 기반의 쌍별 반대칭화 구조로 대체한다.
• 파동함수를 $\psi_{\textrm{pair}}(x) = \det\left[ \mathcal{A} \circ F(x_i, x_j) \right]$ 로 구성하며, 여기서 $F$ 는 반대칭화된 쌍별 항목의 행렬이다.
• 모든 전자 중 j번째 전자를 제외한 나머지 전자들의 순열에 대해 불변인 순열-등변성 신경망 $\phi_A(x_j; \{x_{\setminus j}\})$ 와 $\phi_B(x_j; \{x_{\setminus j}\})$ 를 사용한다.
• 함수 $F(x_i, x_j)$ 로 구성된 행렬에 대해 쌍별 반대칭화 연산자 $\mathcal{A}$ 를 적용하며, 이 함수들은 $\phi_A$ 와 $\phi_B$ 에서 유도된다.
• 쌍별 구축의 모델 가족이 단일 결정행렬 페르미넷보다 엄밀히 더 표현력이 뛰어나며, 어떤 반대칭 함수도 보편적으로 표현할 수 있음을 증명한다.
• 연속적인 근사기법을 통해 기본 상태 파동함수의 보편적 근사가 가능하며, 이는 유한 용량의 신경망으로 실현 가능하다는 것을 확립한다.

실험 결과

연구 질문

• RQ1 페르미넷의 슬래터 행렬식을 쌍별 반대칭화 기법으로 대체해도 반대칭 함수에 대한 보편적 근사 능력이 유지될 수 있는가?
• RQ2 제안된 $O(N^2)$ 구축 방식이 연속적인 근사기법을 사용해 기본 상태 파동함수를 표현할 수 있는가?
• RQ3 새로운 구축 방식의 계산 복잡도는 $O(N^2)$로 감소했는가? 이와 동시에 표현력은 유지되는가?
• RQ4 이 방법은 파울리넷과 같은 다른 결정행렬 기반 안사에 쉽게 확장 가능한가?
• RQ5 소규모 원자 체계에서 쌍별 구축 방식의 실험적 성능은 페르미넷과 비교해 어떻게 되는가?

주요 결과

• 제안된 쌍별 반대칭화 방법은 $O(N^2)$의 계산 복잡도를 달성하여 기존 페르미넷의 $O(N^3)$ 병목 현상을 줄였다.
• 쌍별 구축의 모델 가족이 어떤 반대칭 함수, 특히 기본 상태 파동함수를 보편적으로 표현할 수 있음이 증명되었다.
• 연속적인 근사기법을 사용해도 보편적 근사 능력이 유지되며, 이는 유한 용량의 신경망으로 실현 가능하다.
• 리튬, 베릴륨, 볼프라민, 탄소, 질소 원자에 대한 실험 결과로 쌍별 구축이 정확한 값에 가까운 기본 상태 에너지 추정치를 도출했으며, 리튬과 베릴륨의 경우 $\psi''_{\textrm{pair}}$ 가 정확한 에너지값과 $0.001$ 하트리 이내로 일치하였다.
• 볼프라민, 탄소, 질소와 같은 더 큰 원자에서는 에너지 편차가 더 커지므로 더 높은 모델 용량이 필요함을 시사하며, 이는 더 복잡한 아키텍처가 필요함을 시사한다.
• 이 방법은 기존의 페르미넷 및 파울리넷 아키텍처와 호환되며, 최소한의 아키텍처 수정으로 직접 통합이 가능하다.