[논문 리뷰] Adaptive and application dependent runtime guided hardware prefetcher reconfiguration on the IBM POWER7

David Prat, Cristobal Ortega외 3명|arXiv (Cornell University)|2015. 01. 09.

Embedded Systems Design Techniques인용 수 4

한 줄 요약

이 논문은 IBM POWER7 기반 시스템에서 응용 프로그램별 워크로드 특성에 따라 하드웨어 프리패치어 설정을 런타임에 동적으로 소프트웨어 기반으로 조정하는 데스크톱 기반 런타임 메커니즘을 제안한다. OmpSs 런타임에서 작업 수준에서 수집한 성능 카운터를 활용하여, 프리패치어 깊이, 스트라이드 탐지, 스토어 프리패칭과 같은 최적의 프리패치어 설정을 자동으로 선택함으로써 다양한 HPC 워크로드에서 높은 성능 향상과 에너지 절감을 달성한다.

ABSTRACT

Hardware data prefetcher engines have been extensively used to reduce the impact of memory latency. However, microprocessors' hardware prefetcher engines do not include any automatic hardware control able to dynamically tune their operation. This lacking architectural feature causes systems to operate with prefetchers in a fixed configuration, which in many cases harms performance and energy consumption. In this paper, a piece of software that solves the discussed problem in the context of the IBM POWER7 microprocessor is presented. The proposed solution involves using the runtime software as a bridge that is able to characterize user applications' workload and dynamically reconfigure the prefetcher engine. The proposed mechanisms has been deployed over OmpSs, a state-of-the-art task-based programming model. The paper shows significant performance improvements over a representative set of microbenchmarks and High Performance Computing (HPC) applications.

연구 동기 및 목표

• 하드웨어 프리패처의 자동 런타임 튜닝 부족으로 인한 성능 및 에너지 효율성 저하 문제를 해결한다.
• 성능 저하와 대역폭 및 전력 낭비를 유발하는 고정 또는 기본 설정 기반의 프리패처 구성 방식의 한계를 극복한다.
• 런타임 성능 메트릭을 활용하여 POWER7 하드웨어 프리패처의 응용 프로그램 인식형 동적 재구성 기능을 제공한다.
• 응용 프로그램 워크로드 및 작업 유형에 따라 프리패처 설정을 적응적으로 조정하여 성능과 에너지 효율성을 향상시킨다.
• 생산 수준의 태스크 기반 프로그래밍 모델(OmpSs)에 적응형 프리패칭 제어를 통합하는 가능성과 이점들을 입증한다.

제안 방법

• 작업 수준에서 성능 카운터를 수집할 수 있도록 OmpSs 런타임 시스템을 활용하여 응용 프로그램 동작의 세밀한 프로파일링을 가능하게 한다.
• 이중 단계 기반 메커니즘을 적용한다: 탐색 단계에서는 여러 프리패처 설정이 평가되고, 이후 안정 단계에서는 최고 성능을 보인 설정이 사용된다.
• SMT 스레드 별로 데이터 스트림 제어 레지스터(DSCR)를 구성하여 프리패처 깊이, 스트라이드 탐지, 스토어 프리패칭을 개별적으로 제어할 수 있도록 한다.
• IPC, 캐시 미스, 메모리 대역폭 모니터링을 위한 하드웨어 성능 카운터를 사용하여 설정 선택을 안내한다.
• 성능 향상이 미미할 경우 공격적인 프리패칭을 비활성화하는 임계값 기반의 에너지 절약 전략을 적용한다.
• 다양한 작업 유형이 서로 다른 메모리 액세스 패턴을 가지므로, OmpSs 작업을 유형으로 분류하여 워크로드 특화 프리패처 설정을 적용한다.

실험 결과

연구 질문

• RQ1 실제 HPC 응용 프로그램에서 하드웨어 프리패처 설정의 동적 런타임 적응이 성능 및 에너지 효율성 향상에 기여할 수 있는가?
• RQ2 응용 프로그램별 메모리 액세스 행동은 POWER7에서 최적의 하드웨어 프리패처 설정에 어떤 영향을 미치는가?
• RQ3 설정 결정을 위한 런타임 성능 데이터 수집의 성능 오버헤드는 얼마이며, 이를 최소화할 수 있는가?
• RQ4 OmpSs에서 작업 수준의 분류가 더 효과적이고 적응적인 프리패처 튜닝을 가능하게 하는가?
• RQ5 성능 저하 없이 에너지 절약을 위해 얼마나 공격적인 프리패처 설정을 피할 수 있는가?

주요 결과

• 제안된 런타임 메커니즘은 대표적인 마이크로 벤치마크와 HPC 응용 프로그램 전반에서 최적의 프리패처 설정을 동적으로 선택함으로써 뚜렷한 성능 향상을 달성한다.
• 불규칙한 메모리 액세스 패턴을 가진 워크로드에서도 성능 향상이 관찰되어, 정규 스트라이드를 초월한 적응형 설정 조정의 효과성을 입증한다.
• 성능 카운터 샘플링 빈도가 낮고, 응용 프로그램 내에서 대표적인 성능 데이터를 포함하는 작업 수가 적기 때문에 탐색 단계에서 발생하는 성능 오버헤드는 극히 미미하다.
• 작업 유형 분류가 튜닝 정확도를 향상시킨다. 다양한 OmpSs 작업 유형은 메모리 액세스 특성이 다르므로 각각 다른 프리패처 설정에서 유리함을 얻는다.
• IPC 향상 임계값 이하의 설정으로만 공격적인 프리패칭을 제한하는 에너지 절약 전략이 성능 저하 없이 에너지 소비를 줄이는 데 성공했다.
• 이 솔루션은 실제 하드웨어에서 이식 가능하고 효과적이며, 런타임 소프트웨어가 지능적으로 하드웨어 프리패처를 재구성하여 성능과 에너지 간 균형을 이룰 수 있음을 입증한다.