[论文解读] Efficient cache use for stencil operations on structured discretization grids

Michael Frumkin, Rob F. Van der Wijngaart|ArXiv.org|Jul 14, 2000

Parallel Computing and Optimization Techniques参考文献 11被引用 6

一句话总结

本文提出了一套理论框架，通过基于离散等周几何与格几何的紧致下界和上界推导，实现对结构化网格上稀疏计算中缓存未命中次数的最小化。该研究识别出导致异常高缓存未命中次数的‘不利’网格尺寸，这些尺寸源于干扰格中的短向量，并提出填充策略以规避此类情况，在真实硬件上实现缓存未命中次数最高达三倍的减少。

ABSTRACT

We derive tight bounds on cache misses for evaluation of explicit stencil operators on structured grids. Our lower bound is based on the isoperimetrical property of the discrete octahedron. Our upper bound is based on good surface to volume ratio of a parallelepiped spanned by a reduced basis of the inter- ference lattice of a grid. Measurements show that our algorithm typically reduces the number of cache misses by factor of three relative to a compiler optimized code. We show that stencil calculations on grids whose interference lattice have a short vector feature abnormally high numbers of cache misses. We call such grids unfavorable and suggest to avoid these in computations by appropriate padding. By direct measurements on MIPS R10000 we show a good correlation of abnormally high cache misses and unfavorable three-dimensional grids.

研究动机与目标

• 为结构化网格上的稀疏计算操作建立缓存未命中次数的紧致理论边界。
• 识别由于不利格结构导致缓存未命中次数异常升高的网格尺寸。
• 基于干扰格的约化基开发一种缓存适配算法，以最小化缓存未命中次数。
• 提供实用指南，通过策略性填充避免性能下降的网格尺寸。

提出的方法

• 利用离散等周定理和离散正八面体的等周性质，推导缓存未命中次数的下界。
• 基于具有优良表面积-体积比的干扰格约化基，建立一种缓存适配算法，获得上界。
• 通过两个标准表征不利网格：(1) 网格维度乘积接近缓存大小一半的倍数；(2) 干扰格中存在短向量。
• 使用干扰格的改进基，实现高效数据布局，以最大化空间与时间局部性。
• 将理论结果应用于真实硬件（MIPS R10000）以验证干扰格中短向量与高缓存未命中率之间的相关性。
• 提出一种填充策略，通过将不利网格嵌入更大、优化后的网格中，将其转换为有利网格。

实验结果

研究问题

• RQ1 在结构化网格上，稀疏计算操作的缓存未命中次数是否存在理论最小值？该最小值在实际中是否可实现？
• RQ2 干扰格的几何特性——特别是短向量的存在——如何影响缓存性能？
• RQ3 能否利用离散几何与格理论，同时从下界和上界对缓存未命中次数进行约束？
• RQ4 当网格尺寸为缓存大小一半的倍数时，是否会导致缓存未命中率异常升高？程度如何？
• RQ5 能否开发一种系统性方法，通过填充与基变换将不利网格转化为有利网格？

主要发现

• 缓存未命中次数的下界由离散等周定理推导得出，表明不可避免的缓存未命中次数由计算域的表面积-体积比决定。
• 缓存未命中次数的上界通过基于干扰格约化基的缓存适配算法实现，确保最优数据布局以最小化缓存流量。
• 在MIPS R10000处理器上的实验表明，干扰格中存在短向量与异常高的缓存未命中率之间存在直接相关性。
• 当网格维度乘积接近缓存大小一半的倍数时，缓存未命中次数显著增加，表明存在强烈的性能瓶颈。
• 所提出的填充策略可将不利网格转换为有利网格，与编译器优化代码相比，缓存未命中次数减少为原来的三分之一。
• 理论分析证明，对于任意缓存大小 S = p^n（p 为素数），均存在具有长最短向量的干扰格的有利网格，从而确保低缓存未命中率。