[论文解读] Optimizing Cache Performance for Graph Analytics.

Yunming Zhang, Vladimir Kiriansky+3 more|arXiv (Cornell University)|Aug 3, 2016

Graph Theory and Algorithms参考文献 34被引用 11

一句话总结

本文提出两种缓存优化技术——基于频率的聚类和CSR分段，显著提升了图分析中的缓存利用率，相较于现有最快框架，在PageRank和标签传播等工作负载上实现了高达4倍的加速，且运行时开销极低，通过重构图数据访问模式实现。

ABSTRACT

Modern hardware systems are heavily underutilized when running large-scale graph applications. While many in-memory graph frameworks have made substantial progress in optimizing these applications, we show that it is still possible to achieve up to 4 $ imes$ speedups over the fastest frameworks by greatly improving cache utilization. Previous systems have applied out-of-core processing techniques from the memory/disk boundary to the cache/DRAM boundary. However, we find that blindly applying such techniques is ineffective because of the much smaller performance gap between DRAM and cache. We present two techniques that take advantage of the cache with minimal or no instruction overhead. The first, frequency based clustering, groups together frequently accessed vertices to improve the utilization of each cache line with no runtime overhead. The second, CSR segmenting, partitions the graph to restrict all random accesses to the cache, makes all DRAM access sequential, and merges partition results using a very low overhead cache-aware merge. Both techniques can be easily implemented on top of optimized graph frameworks. Our techniques combined give speedups of up to 4 $ imes$ for PageRank, Label Propagation and Collaborative Filtering, and 2 $ imes$ for Betweenness Centrality over the best published results

研究动机与目标

• 为解决尽管内存计算框架取得进展，现代硬件在大规模图分析中仍被严重低估利用的问题。
• 提升图工作负载中的缓存利用率，其中缓存与DRAM之间的性能差距远小于内存与磁盘之间的差距。
• 设计缓存感知优化技术，以极低的指令开销实现缓存使用优化，避免传统外存方法的局限性。
• 在PageRank、标签传播和介数中心性等图分析工作负载中实现显著加速。

提出的方法

• 基于频率的聚类将频繁访问的顶点聚集在一起，以提升缓存行利用率，减少缓存未命中，且无运行时开销。
• CSR分段将图划分为多个段，限制对缓存的随机访问，确保所有DRAM访问均为顺序访问。
• 该技术使用轻量级、缓存感知的合并操作，高效整合来自不同段的结果。
• 两种技术均设计为可轻松集成到现有优化的图框架中，无需重大架构修改。
• 该方法利用了缓存与DRAM之间的性能差距远小于内存与磁盘之间差距的事实，使得传统外存技术效果不佳。
• 系统通过优化数据布局和访问模式，最大化缓存层次结构中的空间和时间局部性。

实验结果

研究问题

• RQ1 尽管缓存与DRAM之间的性能差距远小于内存与磁盘之间的差距，缓存感知优化是否仍能在图分析中实现显著加速？
• RQ2 如何重新组织图数据结构，以在极低运行时成本下提升缓存行利用率？
• RQ3 通过分区和布局转换，能在多大程度上减少随机内存访问并改善顺序访问模式？
• RQ4 通过以缓存为中心的优化，在PageRank和标签传播等真实图工作负载中可实现多大性能提升？

主要发现

• 所提技术在PageRank、标签传播和协同过滤的最优化结果上，实现了高达4倍的加速。
• 介数中心性实现了2倍加速，表明即使对具有高度不规则内存访问模式的算法也有效。
• 基于频率的聚类通过将频繁访问的顶点聚集，提升了缓存行利用率，减少缓存未命中，且无运行时成本。
• CSR分段通过划分图结构，使所有DRAM访问均为顺序访问，最大限度减少随机访问开销。
• 两种技术结合使用可实现最高性能增益，表明在缓存利用率方面具有协同增益。
• 这些技术轻量化，可轻松反向移植到现有优化的图框架中，工程实现成本极低。