[論文レビュー] Iterative Retraining of Quantum Spin Models Using Recurrent Neural Networks

Christopher C. Roth|arXiv (Cornell University)|Mar 9, 2020

Quantum many-body systems参考文献 32被引用数 23

ひとこと要約

本稿では、格子の並進をRNNの時間ステップにマッピングすることで、大規模な量子スピン系を再帰的ニューラルネットワーク（RNN）を用いてシミュレートする反復的再訓練手法を提案する。この手法により、段階的なモデル拡張を経て、1次元および2次元における基底状態の効率的学習が可能になる。同一のモデルを段階的に拡大した格子上で繰り返し再訓練することで、並進不変性と対称性の強制を活用し、大規模系における基底状態エネルギーの高精度な推定が達成される。

ABSTRACT

Modeling quantum many-body systems is enormously challenging due to the exponential scaling of Hilbert dimension with system size. Finding efficient compressions of the wavefunction is key to building scalable models. Here, we introduce iterative retraining, an approach for simulating bulk quantum systems that uses recurrent neural networks (RNNs). By mapping translations in the lattice vector to the time index of an RNN, we are able to efficiently capture the near translational invariance of large lattices. We show that we can use this symmetry mapping to simulate very large systems in one and two dimensions. We do so by 'growing' our model, iteratively retraining the same model on progressively larger lattices until edge effects become negligible. We argue that this scheme generalizes more naturally to higher dimensions than Density Matrix Renormalization Group.

研究の動機と目的

• 指数的ヒルベルト空間スケーリングを示す強い相関のある量子多体系をシミュレートする課題に対処すること。
• 端効果を最小限に抑える1次元および2次元のバルク量子系をスケーラブルにシミュレートする手法を開発すること。
• 格子系における並進不変性を、空間的並進をRNNの時間的ダイナミクスにマッピングすることで活用すること。
• 反復的再訓練を通じて、非常に大きな系においても効率的かつデータ効率の良い波動関数アンサンブルの学習を可能にすること。
• 従来の手法（密度行列走化法など）と比較して、高次元への自然な一般化が可能であること。

提案手法

• 再帰的ニューラルネットワーク（RNN）を用いて変分波動関数をパrameter化し、格子サイトのスピンを時間ステップにマッピングすることで並進不変性を符号化する。
• アレイスティブRNNに基づくアンサンブルを採用し、波動関数を格子サイト上の条件付き確率の積として計算する。
• エネルギー期待値を最小化するために、確率的勾配降下法とAdam最適化子を用いた変分モンテカルロ法を適用する。
• 反復的再訓練を実装：境界に2つの電子を追加しながら、逐次的に大きな格子上で同じモデルを再訓練し、以前のチェックポイントからの初期化を行う。
• 物理的対称性（例：並進、スピン回転）を、対称性変換された状態の平均化と巡回位相平均化を用いて強制する。
• 疑似エントロピー正則化と磁化ペナルティ項を損失関数に追加することで、最適化の安定性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 空間的インデックスを時間的インデックスにマッピングすることで、RNNが量子スピン系における並進不変性を効果的に符号化できるか？
• RQ2 同一のRNNモデルを段階的に拡大した格子上で反復的再訓練を実施することで、1次元および2次元の量子スピン系における基底状態エネルギーの推定が高精度に達成できるか？
• RQ3 対称性操作の平均化によって後から対称性を強制することは、RNNに基づく波動関数アンサンブルの一般化性能と精度を向上させるか？
• RQ4 反復的再訓練スキームは、従来の手法と比較して、境界効果を低減し、大規模系におけるバルク性質のシミュレーションをより効率的に行えるか？
• RQ5 疑似エントロピー正則化項と磁化ペナルティ項の導入は、RNNに基づく量子波動関数の最適化における収束性と性能にどのように影響を与えるか？

主な発見

• 反復的再訓練手法により、同一のモデルアーキテクチャを再利用しながら、段階的な格子サイズの拡大を経て、大規模な1次元および2次元量子スピン系を効果的にシミュレートできた。
• 80スピンの1次元系において、既知のベンチマークと整合する基底状態エネルギー推定が得られ、10,000回の訓練ステップでエネルギー収束が観察された。
• 2次元系では6×6格子に適用したが、反復的再訓練により30×30系に拡張され、2000回のファインチューニングステップ後にエネルギー推定が安定した。
• 対称性を強制した波動関数ノルムの使用により一般化性能が向上し、異なる格子サイズにおいても一貫した性能を示した。
• 疑似エントロピー正則化項と磁化ペナルティ項の追加により、ヒルベルト空間の均一なサンプリングが実現され、反復的再訓練における収束が早くなった。
• 特に、従来のRNN学習と比較して、安定性とスケーラビリティの面で優れており、DMRGなどの従来手法が制限を受ける高次元系において顕著な優位性を示した。