[논문 리뷰] Efficient cache use for stencil operations on structured discretization grids

Michael Frumkin, Rob F. Van der Wijngaart|ArXiv.org|2000. 07. 14.

Parallel Computing and Optimization Techniques참고 문헌 11인용 수 6

한 줄 요약

이 논문은 이산 등주부등식과 격자 기하학을 바탕으로 구조적 격자에서 스텐실 연산의 캐시 미스를 최소화하기 위한 이론적 프레임워크를 제시한다. 간섭 격자의 짧은 벡터로 인해 비정상적으로 높은 캐시 미스를 유발하는 '불리한' 격자 치수를 특정하고, 이를 피하기 위한 팯딩 전략을 제안함으로써 실제 하드웨어에서 캐시 미스를 최대 3배까지 감소시킨다.

ABSTRACT

We derive tight bounds on cache misses for evaluation of explicit stencil operators on structured grids. Our lower bound is based on the isoperimetrical property of the discrete octahedron. Our upper bound is based on good surface to volume ratio of a parallelepiped spanned by a reduced basis of the inter- ference lattice of a grid. Measurements show that our algorithm typically reduces the number of cache misses by factor of three relative to a compiler optimized code. We show that stencil calculations on grids whose interference lattice have a short vector feature abnormally high numbers of cache misses. We call such grids unfavorable and suggest to avoid these in computations by appropriate padding. By direct measurements on MIPS R10000 we show a good correlation of abnormally high cache misses and unfavorable three-dimensional grids.

연구 동기 및 목표

• 구조적 격자에서 스텐실 연산의 캐시 미스 수에 대한 날카운 이론적 경계를 설정하기.
• 불리한 격자 구조로 인해 비정상적으로 높은 캐시 미스를 유발하는 격자 치수를 특정하기.
• 최적의 표면 대 부피 비율을 가진 간섭 격자의 감소 기저를 기반으로 한 캐시 적합 알고리즘을 개발하여 캐시 미스를 최소화하기.
• 전략적 패딩을 통해 성능 저하를 초래하는 격자 치수를 피할 수 있는 실용적 지침을 제공하기.

제안 방법

• 이산 등주정리와 이산 정팔면체의 등주성질을 이용해 캐시 미스의 하한을 유도하기.
• 좋은 표면 대 부피 비율을 가진 간섭 격자의 감소 기저를 기반으로 한 캐시 적합 알고리즘을 사용해 상한을 설정하기.
• 두 가지 기준을 통해 불리한 격자를 특성화하기: (1) 격자 치수의 곱이 캐시 크기의 반의 배수에 가까운지, (2) 간섭 격자에 짧은 벡터가 존재하는지.
• 공간적 및 시간적 국소성을 극대화하는 효율적인 데이터 레이아웃을 가능하게 하기 위해 간섭 격자의 수정된 기저를 사용하기.
• 실제 하드웨어(MIPS R10000)에 이론적 결과를 적용하여 짧은 격자 벡터와 높은 캐시 미스 비율 사이의 상관관계를 검증하기.
• 불리한 격자를 더 큰 최적화된 격자에 통합함으로써 유리한 격자로 변환하는 패딩 전략을 제안하기.

실험 결과

연구 질문

• RQ1 구조적 격자에서 스텐실 연산에 필요한 캐시 미스의 이론적 최소 수는 얼마이며, 실제로 달성 가능한가?
• RQ2 간섭 격자의 기하학적 성질—특히 짧은 벡터의 존재—는 캐시 성능에 어떻게 영향을 미치는가?
• RQ3 이산 기하학과 격자 이론을 사용해 캐시 미스 수를 하한과 상한 모두로 봉인할 수 있는가?
• RQ4 캐시 크기의 반의 배수인 격자 치수가 성능 저하를 야기하는가?
• RQ5 패딩과 기저 변환을 통해 불리한 격자를 체계적으로 유리한 격자로 변환할 수 있는 방법을 개발할 수 있는가?

주요 결과

• 캐시 미스의 하한은 이산 등주정리로부터 도출되며, 이는 계산 영역의 표면 대 부피 비율에 의해 결정되는 회피할 수 없는 캐시 미스 수를 보여준다.
• 캐시 미스의 상한은 간섭 격자의 감소 기저를 사용한 캐시 적합 알고리즘을 통해 달성되며, 이는 최소한의 캐시 트래픽을 위한 최적의 데이터 레이아웃을 보장한다.
• MIPS R10000 프로세서에서의 실험 결과, 간섭 격자에 짧은 벡터가 존재할 경우 비정상적으로 높은 캐시 미스 비율이 관찰되었다.
• 캐시 크기의 반의 배수에 가까운 격자 치수 곱을 가진 격자는 상당히 증가한 캐시 미스를 보이며, 강력한 성능 저하 요인임을 시사한다.
• 제안된 패딩 전략은 불리한 격자를 유리한 격자로 변환하여 컴파일러 최적화 코드 대비 캐시 미스를 3배 감소시킨다.
• 이론적 분석을 통해 임의의 캐시 크기 S = p^n (p는 소수)에 대해 간섭 격자에 긴 최단 벡터를 가지는 유리한 격자가 존재함을 증명하였다. 이는 낮은 캐시 미스 비율을 보장한다.