[论文解读] Efficient Contraction of Large Tensor Networks for Weighted Model Counting through Graph Decompositions

Jeffrey M. Dudek, Leonardo Dueñas‐Osorio+1 more|arXiv (Cornell University)|Aug 12, 2019

Tensor decomposition and applications参考文献 56被引用 9

一句话总结

本文提出 TensorOrder，一种基于图分解（特别是树分解和切割分解）的加权模型计数器，可高效收缩大规模张量网络以实现受限计数。通过应用启发式树分解求解器寻找低内存、高效率的收缩顺序，作者提出了两种方法：适用于一般张量网络的线图（Line-Graph, LG）方法，以及适用于高阶、结构化张量的因子树（Factor-Tree, FT）方法。主要贡献在于开发了一款实用且高性能的工具，在无权重基准测试中优于现有计数器，并在加权基准测试中使虚拟最佳求解器性能提升21%。

ABSTRACT

Constrained counting is a fundamental problem in artificial intelligence. A promising new algebraic approach to constrained counting makes use of tensor networks, following a reduction from constrained counting to the problem of tensor-network contraction. Contracting a tensor network efficiently requires determining an efficient order to contract the tensors inside the network, which is itself a difficult problem. In this work, we apply graph decompositions to find contraction orders for tensor networks. We prove that finding an efficient contraction order for a tensor network is equivalent to the well-known problem of finding an optimal carving decomposition. Thus memory-optimal contraction orders for planar tensor networks can be found in cubic time. We show that tree decompositions can be used both to find carving decompositions and to factor tensor networks with high-rank, structured tensors. We implement these algorithms on top of state-of-the-art solvers for tree decompositions and show empirically that the resulting weighted model counter is quite effective and useful as part of a portfolio of counters.

研究动机与目标

• 解决在加权模型计数中高效收缩大规模张量网络的挑战，该问题是 #P-完全问题，具有广泛的AI应用。
• 通过利用启发式图分解技术，克服穷举收缩顺序搜索带来的可扩展性限制。
• 通过一种新颖的预处理因子分解方法，有效处理现实世界约束中常见的高阶、结构化张量。
• 开发一款实用且高性能的模型计数器，可与最先进的张量和分解库集成，适用于工业规模应用。
• 证明基于张量网络的计数方法作为组合模型计数器中具有竞争力的组件的有效性。

提出的方法

• 应用树分解以推导出低宽度的切割分解，后者可直接对应于内存高效的张量收缩顺序。
• 实现线图（Line-Graph, LG）方法，将张量网络的线图转换为树分解，从而实现基于结构的收缩顺序选择。
• 提出因子树（Factor-Tree, FT）方法，在收缩前使用分层Tucker表示法对高阶、结构化张量（如来自XOR或恰好一个约束的张量）进行因子分解。
• 将LG与FT集成到TensorOrder中，这是一种新型加权模型计数器，结合了启发式树分解求解器（htd、Flow、Tamaki）与高性能张量库。
• 使用在线、增量式树分解求解器动态生成收缩树，支持早期终止与性能监控。
• 通过收缩树的最大阶数和运行时间评估收缩质量，使用真实世界与合成基准测试。

实验结果

研究问题

• RQ1 启发式图分解能否有效用于推导大规模张量网络在加权模型计数中的高效收缩顺序？
• RQ2 树分解与切割分解在多大程度上能减少张量网络收缩过程中的内存使用？
• RQ3 一种结构感知的预处理方法（因子树）能否有效实现高阶、结构化张量的收缩，而这些张量是标准张量方法无法处理的？
• RQ4 所提出的基于张量的模型计数器（TensorOrder）在标准加权模型计数基准测试中与最先进精确计数器相比性能如何？
• RQ5 不同启发式树分解求解器（htd、Flow、Tamaki）对整体模型计数流水线的效率与可扩展性有何影响？

主要发现

• 使用LG方法的TensorOrder在无权重基准测试中优于所有其他精确模型计数器与基于张量的方法，在时间限制内解决了更多实例。
• FT方法在21%的标准加权模型计数基准测试中提升了虚拟最佳求解器的性能，证明了其在处理结构化高阶张量方面的有效性。
• FT+Tamaki与FT+Flow在概率推理基准测试中表现优异：FT+Flow能最快找到最大阶数较低的收缩树，而FT+Tamaki在1000秒内解决了最多的基准测试。
• 在1091个概率推理基准测试中，未使用因子分解的基于张量的方法（如LG、贪婪法、Metis）仅在1000秒内解决了一个基准，凸显了FT因子分解的必要性。
• 线图方法在一般张量网络中表现有效，而因子树方法则唯一实现了对XOR与恰好一个子句等复杂结构化约束的处理。
• 将启发式树分解工具与高性能张量库集成，可构建出可扩展、实用的模型计数器，适用于组合设置中的应用。