[論文レビュー] Supplementing Recurrent Neural Network Wave Functions with Symmetry and Annealing to Improve Accuracy

Mohamed Hibat-Allah, Roger G. Melko+1 more|arXiv (Cornell University)|Jul 28, 2022

Quantum many-body systems被引用数 13

ひとこと要約

本稿では、挫折した量子スピン系の基底状態エネルギー推定値を向上させるために、対称性および焼きなまし法を組み込んだ複素数の再帰的ニューラルネットワーク（cRNN）波動関数を提案する。U(1)および点群対称性（例：$C_{2d}$）を組み込み、擬似温度スケジュールを用いた変分的焼きなまし法を適用することで、14×14以上の2次元ヘイゼンベルグスピンモデルに対してDMRGを上回る変分的エネルギーを達成し、符号問題に苦しむ強い相関系において優れた精度を示した。

ABSTRACT

Recurrent neural networks (RNNs) are a class of neural networks that have emerged from the paradigm of artificial intelligence and has enabled lots of interesting advances in the field of natural language processing. Interestingly, these architectures were shown to be powerful ansatze to approximate the ground state of quantum systems. Here, we build over the results of [Phys. Rev. Research 2, 023358 (2020)] and construct a more powerful RNN wave function ansatz in two dimensions. We use symmetry and annealing to obtain accurate estimates of ground state energies of the two-dimensional (2D) Heisenberg model, on the square lattice and on the triangular lattice. We show that our method is superior to Density Matrix Renormalisation Group (DMRG) for system sizes larger than or equal to $14 imes 14$ on the triangular lattice.

研究の動機と目的

• 符号問題に苦しむ量子多体系における再帰的ニューラルネットワーク（RNN）波動関数アプローチの精度を向上させること。
• 非ストゥーカスティックハミルトニアンの変分的モンテカルロ（VMC）最適化における局所的最小値の問題に対処すること。
• 対称性の組み込みと変分的焼きなまし法が、挫折的スピン系における収束性とエネルギー推定値を顕著に向上させることを実証すること。
• 大規模系に対して従来の手法（例：DMRG）を上回るスケーラブルなRNNベースの手法を確立すること。

提案手法

• 2次元テンソル化されたゲート付き複素数RNN（cRNN）波動関数を用い、ジグザグ経路に沿った自己回帰的サンプリングによりスピン配置をモデル化する。
• ネットワークは、隣接するスピンおよび隠れ状態をテンソル演算で結合する2次元の再帰的関係を採用し、2次元相関を符号化する。
• U(1)スピン回転不変性、正方形格子における$C_{4v}$、三角格子における$C_{2d}$といった対称性を、波動関数アーキテクチャに明示的に埋め込み、変分的精度を向上させる。
• 擬似温度を$T_0 = 0.25$ から始め、徐々に0に減少させる変分的焼きなましスキームを導入し、VMC最適化中に局所的最小値を回避する。
• 変分的パラメータはAdam最適化子と学習率スケジューリングを用いて最適化され、収束を早めるためにマーシャル符号則が適用される。
• エネルギー推定値は、自己回帰的サンプリングにより生成された無相関サンプルを用いた重要度サンプリングによるVMCで計算される。

実験結果

リサーチクエスチョン

• RQ1 対称性に配慮したRNN波動関数は、挫折的量子スピン系において標準的な変分的手法を上回ることができるか？
• RQ2 変分的焼きなまし法は、非ストゥーカスティックハミルトニアンのVMCにおいて収束性とエネルギー精度を向上させるか？
• RQ3 提案されたRNNアプローチは、挫折的格子上の大型2次元ヘイゼンベルグモデルにおいてDMRGと比較してどのように性能を発揮するか？
• RQ4 強い挫折性を示す系（例：三角格子ヘイゼンベルグモデル）において、対称性と焼きなまし法の組み合わせは必須であるか？

主な発見

• 提案された対称性および焼きなまし法を強化したcRNN波動関数は、14×14および16×16の三角格子ヘイゼンベルグモデルにおいて、DMRGを上回る基底状態エネルギー推定値を達成した。
• 三角格子において、システムサイズが$\geq 14\times14$の範囲でDMRGを上回り、6×6から16×16の格子サイズにわたりエネルギー改善が確認された。
• $T_0 = 0.25$および$N_{\rm warmup} = 1000$を用いた焼きなまし法は、挫折的三角格子において収束性とエネルギー推定値を顕著に改善したが、非挫折的正方形格子では効果が認められなかった。
• 三角格子における$C_{2d}$およびスピンパリティ対称性の組み込みにより、$U(1)$対称性のみを用いた場合と比較して、変分的エネルギーが顕著に低減された。
• 本手法は安定性とスケーラビリティを維持しており、P100 GPUを用いた学習が16×16のシステムサイズまで収束に至った。
• マーシャル符号則の適用により、RNNおよびDMRG両方の計算で収束が加速されたが、最終的なエネルギー精度に影響はなかった。