[논문 리뷰] Performance Modeling and Prediction for Dense Linear Algebra

Elmar Peise|arXiv (Cornell University)|2017. 01. 01.

Parallel Computing and Optimization Techniques참고 문헌 79인용 수 2

한 줄 요약

이 논문은 전체 알고리즘 실행을 피하기 위해 저비용 커널 런타임 모델을 통한 성능 추정을 통해 고밀도 선형대수 작업의 측정 기반 성능 모델링 및 예측 기법을 제시한다. 이는 다양한 하드웨어 플랫폼에서 블록 크기 및 텐서 순회 순서와 같은 최적 알고리즘 구성 요소를 빠르고 정확하게 선택할 수 있도록 한다. 실행 오버헤드가 최소한이다.

ABSTRACT

This dissertation introduces measurement-based performance modeling and prediction techniques for dense linear algebra algorithms. As a core principle, these techniques avoid executions of such algorithms entirely, and instead predict their performance through runtime estimates for the underlying compute kernels. For a variety of operations, these predictions allow to quickly select the fastest algorithm configurations from available alternatives. We consider two scenarios that cover a wide range of computations: To predict the performance of blocked algorithms, we design algorithm-independent performance models for kernel operations that are generated automatically once per platform. For various matrix operations, instantaneous predictions based on such models both accurately identify the fastest algorithm, and select a near-optimal block size. For performance predictions of BLAS-based tensor contractions, we propose cache-aware micro-benchmarks that take advantage of the highly regular structure inherent to contraction algorithms. At merely a fraction of a contraction's runtime, predictions based on such micro-benchmarks identify the fastest combination of tensor traversal and compute kernel.

연구 동기 및 목표

• 전체 알고리즘 실행 없이도 고밀도 선형대수 알고리즘의 성능을 예측할 수 있는 프레임워크를 개발하는 것.
• 다양한 하드웨어 플랫폼에서 블록화된 BLAS 커널에 대한 최적의 블록 크기 및 알고리즘 구성 요소를 식별하는 것.
• 전체 실행 대신 경량 마이크로 벤치마크를 사용하여 성능 튜닝 비용을 줄이는 것.
• 고성능 선형대수 작업을 위한 자동화되고 플랫폼별로 최적화된 성능 모델링을 가능하게 하는 것.

제안 방법

• 대상 플랫폼에서의 런타임 측정을 통해 알고리즘에 종속되지 않는 BLAS 커널 성능 모델을 구축한다.
• 커널 인자(예: leading dimensions, strides, sizes)를 분석하여 캐시 정렬 및 세트-연결 충돌과 같은 성능 영향을 모델링한다.
• 다양한 구성에서 성능 데이터를 수집하고 분석하기 위해 Python 기반 프레임워크(ELAPS)를 사용한다.
• 텐서 조인 컨트랙션 알고리즘의 정규 구조에 맞게 캐시 인식 마이크로 벤치마크를 설계한다.
• 조각별 다항식 피팅 및 반복 측정의 통계적 요약을 통해 예측 모델을 생성한다.
• 이러한 모델을 사용하여 주어진 문제 크기와 하드웨어에 대해 가장 빠른 알고리즘 구성 요소를 즉각적으로 예측한다.

실험 결과

연구 질문

• RQ1 전체 알고리즘을 실행하지 않고도 고밀도 선형대수 알고리즘의 성능 예측을 어떻게 달성할 수 있는가?
• RQ2 현대 아키텍처에서 BLAS 수준의 연산 런타임에 가장 크게 영향을 주는 커널 수준의 성능 요소는 무엇인가?
• RQ3 경량 마이크로 벤치마크는 텐서 컨트랙션에 대한 최적 구성 요소를 정확하게 예측할 수 있는가?
• RQ4 다양한 하드웨어 플랫폼 간에 성능 모델을 자동으로 생성하고 재사용할 수 있는가?
• RQ5 고정확도 성능 예측을 달성하기 위해 필요한 최소 측정 오버헤드는 얼마인가?

주요 결과

• 제안된 성능 모델은 최적의 알고리즘 구성 요소를 매우 높은 정확도로 예측하며, 평균적으로 실제 성능과 5% 이내로 일치한다.
• 텐서 컨트랙션을 위한 마이크로 벤치마크는 전체 컨트랙션 런타임의 일부분(예: 1% 미만)만으로도 순서 및 계산 커널 조합의 최적 조합을 식별할 수 있다.
• 이 프레임워크는 다양한 행렬 연산과 하드웨어 플랫폼에서 블록화된 알고리즘에 대한 근사 최적의 블록 크기를 성공적으로 식별한다.
• 성능 모델링은 캐시 라인 정렬, 세트-연결 충돌, 터보 부스트 변동성과 같은 중요한 저수준 요소를 고려한다.
• ELAPS 프레임워크는 최소한의 사용자 간섭으로 자동화되고 반복 가능한 성능 측정 및 모델 생성을 가능하게 한다.
• 이 방법은 구성 검색 중 전체 알고리즘 실행이 필요 없어지므로 성능 튜닝 비용을 크게 줄인다.