[论文解读] Empowering deep neural quantum states through efficient optimization

Ao Chen, Markus Heyl|arXiv (Cornell University)|Feb 3, 2023

Quantum many-body systems参考文献 56被引用 13

一句话总结

本文提出最小步长随机重配置（MinSR）来训练深度神经量子态（NQS），成本降低数量级，使2D Heisenberg J1-J2 模型的基态能达到机器精度。

ABSTRACT

Computing the ground state of interacting quantum matter is a long-standing challenge, especially for complex two-dimensional systems. Recent developments have highlighted the potential of neural quantum states to solve the quantum many-body problem by encoding the many-body wavefunction into artificial neural networks. However, this method has faced the critical limitation that existing optimization algorithms are not suitable for training modern large-scale deep network architectures. Here, we introduce a minimum-step stochastic-reconfiguration optimization algorithm, which allows us to train deep neural quantum states with up to $10^6$ parameters. We demonstrate our method for paradigmatic frustrated spin-1/2 models on square and triangular lattices, for which our trained deep networks approach machine precision and yield improved variational energies compared to existing results. Equipped with our optimization algorithm, we find numerical evidence for gapless quantum-spin-liquid phases in the considered models, an open question to date. We present a method that captures the emergent complexity in quantum many-body problems through the expressive power of large-scale artificial neural networks.

研究动机与目标

• 推动并解决大规模深度网络神经量子态的优化瓶颈。
• 引入 MinSR 算法，将 SR 的复杂度从三次方降至接近线性于网络规模。
• Demonstrate training of very deep NQS (up to 64 layers, >10^5 parameters) on 2D spin models.
• Evaluate performance against existing SR/SGD methods and benchmark against known results for J1-J2 models.

提出的方法

• 将 SR 更新表述为求解线性方程，将虚时间演化投影到变分流形上。
• 引入神经元切线核 T = O O^†，其具有与量子度量 S 相同的非零特征值，但大小为 N_s × N_s。
• 推导 MinSR 的解 δθ = O^† T^{-1} ε，其中 T = O O^†，将复杂度降为 O(N_p N_s^2 + N_s^3)。
• 使用最小范数（最小步长）准则，在欠定解中选择唯一的 δθ，以提高稳定性。
• 应用正则化和蒙特卡洛采样从变分蒙特卡洛中计算 O 和 ε。
• 在自旋-1/2 的 Heisenberg J1-J2 模型上进行基准测试，以证明准确性和可扩展性。

实验结果

研究问题

• RQ1 MinSR 是否能在显著降低计算成本的同时实现与 SR 相当的变分能量？
• RQ2 MinSR 如何随网络深度和参数数量在大型 NQS 架构中扩展？
• RQ3 在现代硬件上，当接近机器精度时，用 MinSR 训练的深度 NQS 的准确性极限是什么？
• RQ4 用 MinSR 训练的深度 NQS 是否能在如 J1-J2 模型这样的二维受挫量子磁体上超越现有方法？

主要发现

• MinSR 将深度网络（参数量 N_p）优化成本降至 O(N_p) 的数量级，而传统 SR 为 O(N_p^3)。
• MinSR 使在二维 Heisenberg J1-J2 模型上训练多达 64 层、参数超过 10^5 的神经网络成为可能。
• 用 MinSR 训练的深度 NQS 在 J1-J2 模型的 16×16 晕格上实现的变分能量超过传统数值方法。
• 基态结果在现代 GPU 和 TPU 上接近不同水平的机器精度，主要受设备数值精度限制。
• 对于非自旋挫的 Heisenberg 模型，MinSR 的变分能量超过以往 NQS 结果，且在许多情况下符号结构误差近似为零。
• 对于在 16×16 晕格上 J2/J1 = 0.5 的受挫 J1-J2 模型，MinSR 获得了在 NQS 方法中报告的最佳变分能量。