[論文レビュー] Bridging the Gap between Deep Learning and Frustrated Quantum Spin System for Extreme-scale Simulations on New Generation of Sunway Supercomputer

Mingfan Li, Junshi Chen+8 more|arXiv (Cornell University)|Aug 31, 2021

Quantum many-body systems参考文献 50被引用数 23

ひとこと要約

本論文は、Sunway スーパーコンピュータ上で2次元のフラストレーテッドスピン-1/2 J1–J2 ハイゼンベルグ模型をシミュレートするため、スケーラブルな畳み込みニューラルネットワーク（CNN）ベースの変分アンザッツに、トランスファーラーニングと2次精度最適化（確率的再構成、Stochastic Reconfiguration）を組み合わせた手法を提示する。3000万を超える異種コアを活用し、ScaLapackを用いた分散線形代数を実施することで、従来不可能とされてきた24×24量子スピン系をシミュレートし、深層学習とハイパフォーマンスコンピューティングの統合による、量子多体系シミュレーションの前例のない規模と効率性を実証した。

ABSTRACT

Efficient numerical methods are promising tools for delivering unique insights into the fascinating properties of physics, such as the highly frustrated quantum many-body systems. However, the computational complexity of obtaining the wave functions for accurately describing the quantum states increases exponentially with respect to particle number. Here we present a novel convolutional neural network (CNN) for simulating the two-dimensional highly frustrated spin-$1/2$ $J_1-J_2$ Heisenberg model, meanwhile the simulation is performed at an extreme scale system with low cost and high scalability. By ingenious employment of transfer learning and CNN's translational invariance, we successfully investigate the quantum system with the lattice size up to $24 imes24$, within 30 million cores of the new generation of sunway supercomputer. The final achievement demonstrates the effectiveness of CNN-based representation of quantum-state and brings the state-of-the-art record up to a brand-new level from both aspects of remarkable accuracy and unprecedented scales.

研究の動機と目的

• 2次元のフラストレーションのあるスピン系における量子多体状態の表現の指数的スケーリング問題を克服すること。
• 18×18の限界を超えて、スピン-1/2 J1–J2 ハイゼンベルグ模型の極限スケールシミュレーションを可能にすること。
• 深層学習とハイパフォーマンスコンピューティング（HPC）を統合し、スケーラブルで低コストかつ高精度な量子状態シミュレーションを実現すること。
• モンテカルロサンプリングと2次精度最適化（SR法）における計算ボトルネックを、異種並列処理と分散線形代数により克服すること。
• 未だかつてない規模の系において、CNNベースの波動関数表現の実現可能性と優位性を示すこと。

提案手法

• 並進不変性を持つ畳み込みニューラルネットワーク（CNN）を用いて、量子多体波動関数を表現し、局所的接続性とパラメータ共有を活用して計算を効率化する。
• 複数の格子サイズ（例：10×10 から 24×24）間でトランスファーラーニングを適用し、知識の転送を実現し、大規模系のトレーニングコストを低減する。
• 勾配の統計的相関を活用することで収束性と精度を向上させるため、2次精度最適化手法として確率的再構成（Stochastic Reconfiguration, SR）法を採用する。
• CNNの推論とトレーニングを、Sunwayプロセッサの異種コアに計算負荷をオフロードするswDNNライブラリにより高速化する。
• 複数の独立したモンテカルロチェーンを1プロセスあたりに許容できるように、並列モンテカルロサンプリングを再設計し、スループットを向上させ、通信オーバーヘッドを低減する。
• SR法に必要な大規模な密行列演算を効率的に行うために、分散ScaLapackを用い、10万を超える変分パラメータを扱う共分散行列の処理を可能にする。

実験結果

リサーチクエスチョン

• RQ1 CNNベースの変分アンザッツは、極限スケールの2次元フラストレーションのある量子スピン系において、高い精度とスケーラビリティを達成できるか？
• RQ2 トランスファーラーニングをどのように効果的に活用することで、小規模な系（例：10×10）から大規模系（例：24×24）へのシミュレーションコストを低減できるか？
• RQ3 深層学習と極限スケールのHPCシステム（例：Sunway）を統合した場合、特に通信集約的ワークロード下で、どのようなパフォーマンスとスケーラビリティが達成可能か？
• RQ4 限られたモンテカルロサンプル数のもとで、2次精度最適化（SR）法が1次精度手法をどの程度上回るか？
• RQ5 深層学習とHPCの統合は、強い相関を持つ系における量子状態表現の指数的複雑性を克服できるか？

主な発見

• 本手法により、2次元スピン-1/2 J1–J2 ハイゼンベルグ模型が24×24正方格子上でシミュレートされ、CNNベースの変分的手法を用いた大規模系の研究は、本研究が初めてである。
• Sunway スーパーコンピュータの3000万を超える異種コアを活用し、49万プロセスにわたる並列効率が92.5％に達した。
• トランスファーラーニングと分散最適化を活用することで、CNNモデルが106,529の変分パラメータを有し、従来のCNNベースのモデル比で30倍の規模に拡大した。
• 基底状態エネルギーは、18×18格子系の既存結果を大きく上回る、最先端の精度で計算され、探索空間は2252倍に拡大された。
• 分散ScaLapackの活用により、SR法における大規模共分散行列の計算が効率的に行われ、2次精度最適化におけるメモリおよびパフォーマンスボトルネックが克服された。
• トランスファーラーニングにより、小規模で事前学習されたモデルからの初期化が可能となり、24×24系のトレーニングコストが低減し、安定した収束が達成された。これにより、より大規模な量子系へのスケーラブルな道筋が示された。