[论文解读] Improved Parallel Cache-Oblivious Algorithms for Dynamic Programming and Linear Algebra

Guy E. Blleloch, Yan Gu|arXiv (Cornell University)|Sep 25, 2018

Parallel Computing and Optimization Techniques参考文献 90被引用 5

一句话总结

本文提出了一种新颖的抽象结构——k-d网格，用于统一并优化异步内存系统（如NVRAM）中动态规划与线性代数的缓存无关算法。通过建立k-d网格计算的下界并设计写入高效的算法，作者在对称与非对称缓存复杂度方面均取得改进，对所有点最短路径（APSP）、矩阵乘法及背包问题递推等任务实现了I/O效率与并行性的渐近提升。

ABSTRACT

Emerging non-volatile main memory (NVRAM) technologies provide byte-addressability, low idle power, and improved memory-density, and are likely to be a key component in the future memory hierarchy. However, a critical challenge in achieving high performance is in accounting for the asymmetry that NVRAM writes can be significantly more expensive than NVRAM reads. In this paper, we consider a large class of cache-oblivious algorithms for dynamic programming (DP) and linear algebra, and try to reduce the writes in the asymmetric setting while maintaining high parallelism. To achieve that, our key approach is to show the correspondence between these problems and an abstraction for their computation, which is referred to as the $k$-d grids. Then by showing lower bound and new algorithms for computing $k$-d grids, we show a list of improved cache-oblivious algorithms of many DP recurrences and in linear algebra in the asymmetric setting, both sequentially and in parallel. Surprisingly, even without considering the read-write asymmetry (i.e., setting the write cost to be the same as the read cost in the algorithms), the new algorithms improve the existing cache complexity of many problems. We believe the reason is that the extra level of abstraction of $k$-d grids helps us to better understand the complexity and difficulties of these problems. We believe that the novelty of our framework is of interests and leads to many new questions for future work.

研究动机与目标

• 解决新兴NVRAM系统中的性能瓶颈，其中写入操作显著慢于读取操作。
• 提升在非对称内存环境下动态规划与线性代数的缓存无关算法的I/O效率。
• 构建一个统一框架，用于分析和优化广泛算法类别的对称与非对称缓存复杂度。
• 在最小化写入操作的同时实现高并行性，这对持久内存工作负载至关重要。
• 为所有点最短路径、矩阵乘法及背包问题递推等提供理论基础与实际算法改进。

提出的方法

• 引入k-d网格抽象作为统一模型，用于表示分治动态规划与线性代数算法中的计算。
• 在对称与非对称代价模型下，建立k-d网格计算的I/O复杂度下界。
• 设计新的缓存无关算法用于k-d网格，以在非对称环境下最小化写入操作，同时保持高并行性。
• 利用APSP与矩阵乘法等问题的递归分治结构，将其映射到k-d网格计算模式。
• 通过k-d网格的缓存复杂度推导更高层次问题（如所有点最短路径与组合矩阵乘法）的复杂度界。
• 应用CBCO（常分支、缓存无关）范式，在合理假设下证明所提算法的最优性。

实验结果

研究问题

• RQ1 我们能否设计出在非对称内存系统中实现最优I/O复杂度的写入高效、缓存无关算法，用于动态规划与线性代数？
• RQ2 k-d网格抽象是否足以统一并简化对广泛分治算法类别的分析？
• RQ3 我们能否为k-d网格计算建立考虑写入不对称性的I/O复杂度下界？
• RQ4 所提算法在对称与非对称环境下是否均为渐近最优，特别是对APSP与矩阵乘法等任务？
• RQ5 该框架能否扩展至非方形或不规则的k-d网格形状？这对张量代数及其他应用有何影响？

主要发现

• 本文证明，k-d网格计算的对称缓存复杂度为Θ(C / (B M^{1-1/k}))，其中C为算法指令数。
• 在非对称环境下，缓存复杂度优化为Θ(ω^{1/k} C / (B M^{1-1-1/k}))，其中ω表示写入成本倍数，实现了最优写入效率。
• 所提APSP与矩阵乘法算法的渐近I/O复杂度与最优已知缓存感知算法一致，但无需知晓缓存参数。
• 即使在对称情况下，该框架也优于现有缓存无关算法，表明k-d网格抽象揭示了算法复杂度更深层次的结构特征。
• 对于GAP递推，算法的I/O代价中存在额外的O((n² log M)/B)项，该问题仍待解决。
• 并行对称缓存复杂度受Q₁ + O(p D M / B)限制，作者推测该加法项可改进为O(p M / B)，表明k-d网格存在更紧的并行I/O界潜力。