[논문 리뷰] SPARK00: A Benchmark Package for the Compiler Evaluation of Irregular/Sparse Codes

Harmen L. A. van der Spek, Erwin M. Bakker외 1명|ArXiv.org|2008. 05. 26.

Parallel Computing and Optimization Techniques참고 문헌 16인용 수 7

한 줄 요약

SPARK00는 불규칙하고 희박한 계산 커널에서 최적화 컴파일러의 성능을 평가하기 위해 설계된 벤치마크 세트로, 포인터 순회와 간접 인덱스 배열에 중점을 둔다. 이 벤치마크는 작은 분석 가능한 커널에서 불규칙한 메모리 접근 패턴을 고립시켜 컴파일러의 최적화 효과를 측정하며, 복잡한 간접 참조와 산재한 메모리 접근으로 인해 포인터 기반 코드는 배열 기반 코드에 비해 최적화 이득을 크게 보지 못함을 드러낸다.

ABSTRACT

We propose a set of benchmarks that specifically targets a major cause of performance degradation in high performance computing platforms: irregular access patterns. These benchmarks are meant to be used to asses the performance of optimizing compilers on codes with a varying degree of irregular access. The irregularity caused by the use of pointers and indirection arrays are a major challenge for optimizing compilers. Codes containing such patterns are notoriously hard to optimize but they have a huge impact on the performance of modern architectures, which are under-utilized when encountering irregular memory accesses. In this paper, a set of benchmarks is described that explicitly measures the performance of kernels containing a variety of different access patterns found in real world applications. By offering a varying degree of complexity, we provide a platform for measuring the effectiveness of transformations. The difference in complexity stems from a difference in traversal patterns, the use of multiple indirections and control flow statements. The kernels used cover a variety of different access patterns, namely pointer traversals, indirection arrays, dynamic loop bounds and run-time dependent if-conditions. The kernels are small enough to be fully understood which makes this benchmark set very suitable for the evaluation of restructuring transformations.

연구 동기 및 목표

• 동적 메모리 접근 패턴을 가진 불규칙하고 희박한 코드를 대상으로 하는 컴파일러 평가 플랫폼의 부족을 보완하기 위해.
• 포인터 추적과 간접 인덱스 배열과 같은 특정 불규칙성 특성들이 컴파일러 최적화 효과에 미치는 영향을 고립하고 측정하기 위해.
• 재구조화 변환의 세부 분석이 가능한 경량이고 분석 가능한 커널 세트를 제공하기 위해.
• 다양한 최적화 수준과 아키텍처 간 컴파일러 동작을 비교하기 위한 표준화된 평가 프레임워크로 기능하기 위해.

제안 방법

• 벤치마크 세트는 포인터 순회 기반(예: SPMATVEC, JACIT)과 간접 인덱스 배열 기반(예: ASM, TRMAT)의 두 주요 하위집합으로 구성되어 있다.
• 각 커널은 특정 유형의 불규칙한 접근 패턴을 나타내도록 설계되어 있다: 포인터 순회, 동적 루프 범위, 런타임 기반 조건문, 또는 다중 간접 참조.
• vars.mk를 통한 구성 가능한 빌드 시스템을 사용하여 컴파일러 플래그(CC, CFLAGS)를 설정함으로써, 다양한 구성에서 일관된 컴파일링과 타이밍 측정이 가능하다.
• 결과는 spark.dat에 수집되며, 각 구성에 대해 벤치마크 ID, 행렬 입력, 기준 시간, 측정된 실행 시간을 저장한다.
• 단일 스레드, 순차적 플랫폼에서의 실행을 지원함으로써, 병렬성 간섭 없이 변환 효과를 고립할 수 있다.
• 인텔 이타니엄에서 GCC 4.2.2를 대상으로 한 사례 연구에서는 최적화 수준(-O2, -O3)을 기준 대비로 평가하여 다양한 접근 패턴에서의 속도 향상을 측정하였다.

실험 결과

연구 질문

• RQ1 포인터 기반 불규칙한 메모리 접근을 가진 커널에서 최적화 컴파일러의 성능은 배열 기반 간접 참조에 비해 어떻게 다를까?
• RQ2 루프 변환과 명령어 스케줄링과 같은 컴파일러 최적화가 불규칙한 커널에서 성능 향상에 얼마나 기여하는가?
• RQ3 다중 간접 참조나 런타임 기반 제어 흐름과 같은 다양한 불규칙성 특성이 최적화 효과에 어떤 영향을 미치는가?
• RQ4 연결된 데이터 구조에서 내부 루프 순회 복잡성이 컴파일러 최적화에 어떤 성능 영향을 미치는가?
• RQ5 다른 컴파일러 최적화 수준(-O2 대비 -O3)은 불규칙한 커널에서 실행 시간에 어떤 영향을 미치는가?

주요 결과

• SPMATVEC, JACIT, MCF와 같은 포인터 기반 벤치마크는 배열 기반 벤치마크에 비해 컴파일러 최적화로 인한 성능 향상이 현저히 낮았다.
• 집합적 저장 방식을 가진 배열 기반 코드(예: ASM, TRMAT)는 더 나은 데이터 국소성과 순차적 접근 패턴 덕분에 최적화에서 더 큰 이점을 얻었다.
• 특히 bcsstk13과 같은 긴 연결 리스트를 통해 포인터 기반 코드에서 내부 순회가 발생하면, 반복적인 간접 참조와 산재한 메모리 접근으로 인해 최적화 성과가 심각하게 제한되었다.
• 컴파일러 설정(-O2 대비 -O3)은 성능에 미치는 영향이 극히 미미하여, 불규칙한 패턴에서는 고수준 최적화의 효과가 제한됨을 시사했다.
• MCF에서 포인터 순회가 광범위하게 사용되어 의미 있는 최적화가 불가능했고, 모든 구성에서 최소한의 속도 향상만을 기록했다.
• 벤치마크 세트는 불규칙성 영향을 성공적으로 고립시켜 특정 접근 패턴과 컴파일러 최적화 결과 간의 명확한 상관관계를 확립했다.