[论文解读] Hyper-optimized approximate contraction of tensor networks with arbitrary geometry

Johnnie Gray, Garnet Kin‐Lic Chan|arXiv (Cornell University)|Jun 14, 2022

Elasticity and Material Modeling参考文献 75被引用 4

一句话总结

本文提出了一种针对任意图结构的近似张量网络收缩的超优化框架，通过在包含成对收缩和基于奇异值分解的键压缩的收缩树上进行迭代优化。通过在超优化过程中最小化内存或计算成本，该方法在误差和成本方面显著优于手工设计或现有通用算法，实现了对大规模张量网络（包括受挫的3D晶格和随机正则图）的高效模拟。

ABSTRACT

Tensor network contraction is central to problems ranging from many-body physics to computer science. We describe how to approximate tensor network contraction through bond compression on arbitrary graphs. In particular, we introduce a hyper-optimization over the compression and contraction strategy itself to minimize error and cost. We demonstrate that our protocol outperforms both hand-crafted contraction strategies in the literature as well as recently proposed general contraction algorithms on a variety of synthetic and physical problems on regular lattices and random regular graphs. We further showcase the power of the approach by demonstrating approximate contraction of tensor networks for frustrated three-dimensional lattice partition functions, dimer counting on random regular graphs, and to access the hardness transition of random tensor network models, in graphs with many thousands of tensors.

研究动机与目标

• 开发一种适用于任意图几何结构的通用近似张量网络收缩框架，不限于规则晶格。
• 通过在收缩与压缩序列上进行超优化，降低精确张量网络收缩的指数级成本。
• 在准确性和效率方面超越现有近似收缩策略，尤其针对受挫的3D晶格和随机张量网络等物理相关模型。
• 证明在超优化过程中最小化成本函数（内存或计算成本）可同时降低收缩误差，实现成本与准确性的权衡。
• 探索随机张量网络中计算难度的相变，并识别在复杂张量条目下近似收缩仍有效的区域。

提出的方法

• 该方法将近似收缩表示为有向、有序的计算树，其中每个节点对应一个收缩或压缩步骤。
• 采用超优化循环，通过启发式参数 θ 和最大键维数 χ 迭代采样收缩树，由成本函数 M（峰值内存）或 C（计算成本）引导。
• 通过在张量之间的键上进行奇异值分解（SVD）实现压缩，压缩顺序与时机作为树结构的一部分进行优化。
• 该框架支持任意图拓扑，包括规则晶格、随机正则图以及复杂的3D结构（如pyrochlore晶格和diamond晶格）。
• 优化过程使用参数化启发式方法（如贪婪算法）探索可能的收缩树空间，超参数通过最小化成本函数进行调优。
• 该方法应用于合成模型（如[λ,1]区间内均匀分布条目的随机张量网络）和物理系统（如受挫晶格上的配分函数和随机图上的dimer计数）。

实验结果

研究问题

• RQ1 在任意图上，对包含压缩步骤的收缩树进行超优化，是否能产生比手工设计或通用算法更准确、更高效的近似张量网络收缩？
• RQ2 在超优化过程中最小化成本函数（内存或计算成本）是否能在多种张量网络几何结构中同时降低收缩误差？
• RQ3 随机张量网络近似收缩中的计算相变是什么？其与张量条目符号结构和大小的关系如何？
• RQ4 该框架能否高效收缩包含数万个张量的大规模张量网络，包括具有长程相互作用或受挫性的系统？
• RQ5 在物理相关的模型（如3D受挫晶格和随机正则图）中，近似收缩在多大程度上能降低精确收缩的指数级成本？

主要发现

• 超优化的近似收缩协议在规则晶格和随机正则图上均优于手工设计的收缩策略与近期通用算法，实现了更低的误差与成本。
• 在pyrochlore晶格上，该方法在非困难张量条目下相对于精确收缩展现出指数级优势，证明了其实际可扩展性。
• 对于3-正则随机图，近似收缩保持了指数级缩放，但预因子显著降低，使大规模网络的高效计算成为可能。
• 该框架成功实现了对包含数千个张量的3D受挫晶格配分函数和随机正则图上dimer计数的近似收缩。
• 在随机张量网络中观察到硬度相变：当张量条目在[λ,1]区间均匀分布时，随着λ减小，相对误差ΔZ显著上升，尤其当Z值变为负或存在大幅值波动时。
• 当使用大键维数χ时，该方法在困难区域仍能保持低误差，表明其在这些情况下接近精确收缩，凸显了张量符号结构在收缩难度中的关键作用。