[論文レビュー] Empowering deep neural quantum states through efficient optimization

Ao Chen, Markus Heyl|arXiv (Cornell University)|Feb 3, 2023

Quantum many-body systems参考文献 56被引用数 13

ひとこと要約

本論文は最小ステップ確率的再構成（MinSR）を導入し、ディープ神経量子状態（NQS）の訓練コストを大幅に削減し、2D ヘイゼンバーグ J1-J2 模型の機械精度に近い基底状態エネルギーを可能にする。

ABSTRACT

Computing the ground state of interacting quantum matter is a long-standing challenge, especially for complex two-dimensional systems. Recent developments have highlighted the potential of neural quantum states to solve the quantum many-body problem by encoding the many-body wavefunction into artificial neural networks. However, this method has faced the critical limitation that existing optimization algorithms are not suitable for training modern large-scale deep network architectures. Here, we introduce a minimum-step stochastic-reconfiguration optimization algorithm, which allows us to train deep neural quantum states with up to $10^6$ parameters. We demonstrate our method for paradigmatic frustrated spin-1/2 models on square and triangular lattices, for which our trained deep networks approach machine precision and yield improved variational energies compared to existing results. Equipped with our optimization algorithm, we find numerical evidence for gapless quantum-spin-liquid phases in the considered models, an open question to date. We present a method that captures the emergent complexity in quantum many-body problems through the expressive power of large-scale artificial neural networks.

研究の動機と目的

• 大規模な深層ネットワークに対するニューラル量子状態の最適化ボトルネックを動機付け、対処する。
• SR の計算量を三次関数からほぼ線形に低減する MinSR アルゴリズムを導入する。
• 非常に深い NQS（最大64層、10^5パラメータ超）の訓練を2Dスピンモデルで実証する。
• 既存の SR/SGD 手法と性能を比較し、J1-J2 モデルの既知結果とベンチマークする。

提案手法

• SR 更新を、虚時間発展を変分多様体に射影する線形方程式を解く問題として定式化する。
• 固有値の非零値をQuantum metric S と共有するがサイズが N_s × N_s のニューラル・タンジェント・カーネル T = O O^† を導入する。
• MinSR 解 δθ = O^† T^{-1} ε を導出し、T = O O^†、複雑さを O(N_p N_s^2 + N_s^3) に削減する。
• アンダーエデタム解集合の中から一意の δθ を選択する最小ノルム（最小ステップ）基準を用いて安定性を改善する。
• Variational Monte Carlo から O および ε を計算する際に正則化とモンテカルロサンプリングを適用する。
• 精度とスケーラビリティを示すためにスピン1/2 ヘイゼンバーグ J1-J2 模型でベンチマークを行う。

実験結果

リサーチクエスチョン

• RQ1 MinSR は SR に対比して大幅に計算コストを削減しつつ、類似の扱い可能な変分エネルギーを達成できるのか？
• RQ2 大規模 NQS アーキテクチャにおけるネットワーク深さとパラメータ数の増加に伴い MinSR はどのようにスケールするのか？
• RQ3 現代のハードウェア上で機械精度に近づく深い NQS を MinSR で訓練した際の精度の限界はどこか？
• RQ4 MinSR で訓練した深い NQS は J1-J2 のような困難な二次元量子磁性体に対して既存手法を上回ることができるのか？

主な発見

• MinSR は深いネットワークで N_p パラメータを持つ場合の最適化コストを主に O(N_p) に削減でき、従来の SR の O(N_p^3) と比較して大きく削減される。
• MinSR により、2D ヘイゼンバーグ J1-J2 模型上で最大64層・10^5 パラメータ超のニューラルネットの訓練を可能にする。
• MinSR で訓練された深い NQS は、J1-J2 モデルの 16×16格子で従来の数値手法を上回る変分エネルギーを達成。
• グラウンドステートの結果は現代の GPU および TPU で機械精度の異なるレベルに近づくが、主にデバイスの数値精度に制限される。
• 非困難なヘイゼンバーグモデルにおいて、MinSR は以前の NQS の結果を大幅に上回る変分エネルギーを示し、多くのケースで符号構造の誤差がほぼゼロに近い。
• 困難な J1-J2 モデル（J2/J1 = 0.5）を 16×16 格子で扱った場合、MinSR は NQS 手法の中で最良の報告済みの変分エネルギーを達成。