[论文解读] Distributed-Memory DMRG via Sparse and Dense Parallel Tensor Contractions

Ryan Levy, Edgar Solomonik+1 more|arXiv (Cornell University)|Jul 10, 2020

Tensor decomposition and applications参考文献 39被引用 7

一句话总结

本论文提出了一种基于Cyclops张量框架的共享内存Dense Matrix Renormalization Group（DMRG）实现，通过高效的稀疏与密集并行张量收缩，加速了量子多体模拟。通过利用张量网络中的块稀疏性，该方法在运行时间上实现了最高5.9倍的加速，在处理速率上相比ITensor提升了99倍，从而在Blue Waters和Stampede2等超算上实现了大规模量子系统的弱可扩展性，支持更高精度的计算。

ABSTRACT

The Density Matrix Renormalization Group (DMRG) algorithm is a powerful tool for solving eigenvalue problems to model quantum systems. DMRG relies on tensor contractions and dense linear algebra to compute properties of condensed matter physics systems. However, its efficient parallel implementation is challenging due to limited concurrency, large memory footprint, and tensor sparsity. We mitigate these problems by implementing two new parallel approaches that handle block sparsity arising in DMRG, via Cyclops, a distributed memory tensor contraction library. We benchmark their performance on two physical systems using the Blue Waters and Stampede2 supercomputers. Our DMRG performance is improved by up to 5.9X in runtime and 99X in processing rate over ITensor, at roughly comparable computational resource use. This enables higher accuracy calculations via larger tensors for quantum state approximation. We demonstrate that despite having limited concurrency, DMRG is weakly scalable with the use of efficient parallel tensor contraction mechanisms.

研究动机与目标

• 为解决二维量子系统DMRG模拟在并发性有限且内存消耗高的情况下的可扩展性挑战。
• 通过实现高效的分布式内存并行化，突破传统单节点DMRG的性能瓶颈。
• 开发并基准测试两种新型并行张量收缩策略——稀疏-稀疏与基于列表的收缩，专门针对DMRG中出现的块稀疏张量（具有U(1)对称性时）。
• 通过高效的张量收缩原语，在百亿亿级超算上展示DMRG的弱可扩展性。
• 通过支持比以往单节点更大地键维数和波函数近似，实现更高精度的模拟。

提出的方法

• DMRG算法基于Cyclops张量框架实现，该框架是专为高性能计算设计的分布式内存张量收缩库。
• 引入两种新型并行方法：(1) 使用块稀疏数据结构的稀疏-稀疏张量收缩；(2) 通过显式索引列表管理张量块的基于列表的收缩。
• 该框架利用优化的稀疏BLAS（MKL）调用，在分布式内存环境中同时支持密集与稀疏张量操作。
• 张量收缩使用Einstein求和记号表达，并映射为矩阵乘法，收缩顺序经优化以提升性能。
• 采用矩阵乘积态（MPS）和矩阵乘积算符（MPO）表示来建模量子系统的哈密顿量与波函数。
• 算法通过在两站点张量上执行Davidson迭代进行自旋位点优化，随后通过SVD截断控制键维数。

实验结果

研究问题

• RQ1 是否可以通过分布式内存张量收缩显著加速传统DMRG算法，同时不损失精度？
• RQ2 在不同张量稀疏度和系统规模下，稀疏张量存储与收缩策略（稀疏-稀疏 vs. 基于列表）的性能表现如何？
• RQ3 当使用高效的张量收缩原语时，DMRG在百亿亿级超算上能实现多大程度的弱可扩展性？
• RQ4 在扩展DMRG至更大键维数时，运行时间、处理速率与资源成本之间的性能权衡如何？
• RQ5 硬件架构选择（如Blue Waters与Stampede2）对DMRG中稀疏张量操作效率的影响有多大？

主要发现

• 所提出的DMRG实现相比ITensor在相同计算资源下，运行时间最多减少5.9倍，处理速率提升99倍。
• 在Stampede2上，稀疏-稀疏收缩方法在m = 8192的电子系统中达到1.0的峰值相对效率，表明近乎理想的可扩展性。
• 在Blue Waters上，基于列表的方法在m = 32,768时实现14倍的性能速率提升，相对成本仅为4.5倍，展现出在大规模问题上的强大性能。
• 在Stampede2上，随着键维数从4,096增至32,768，稀疏-MKL调用的占比从14%上升至52%，表明其对稀疏BLAS的依赖增强。
• 尽管硬件架构存在差异，两种方法均表现出弱可扩展性，使模拟的内存容量最高提升64倍，复杂度最高提升512倍，超越单节点极限。
• 该实现以最高1.5倍的相对成本，实现了相比串行节点99倍的处理速率，使复杂量子系统的高精度模拟成为可能。