[논문 리뷰] Predictable Performance and Fairness Through Accurate Slowdown Estimation in Shared Main Memory Systems

Lavanya Subramanian, Vivek Seshadri외 3명|arXiv (Cornell University)|2018. 05. 15.

Parallel Computing and Optimization Techniques참고 문헌 52인용 수 3

한 줄 요약

이 논문은 요청 서비스 속도를 성능의 대체 지표로 사용하여 공유 메인 메모리 시스템에서 애플리케이션의 성능 저하를 정확하게 추정하는 경량 모델인 MISE를 제안한다. 주기적으로 각 애플리케이션의 우선순위를 높여 '고립된' 성능을 추정함으로써 MISE는 향상된 메모리 스케줄링을 통해 예측 가능한 서비스 품질과 공정성을 실현하며, 이전 기법들보다 성능 저하 추정 정확도와 시스템의 공정성 측면에서 뛰어난 성능을 발휘한다.

ABSTRACT

This paper summarizes the ideas and key concepts in MISE (Memory Interference-induced Slowdown Estimation), which was published in HPCA 2013 [97], and examines the work's significance and future potential. Applications running concurrently on a multicore system interfere with each other at the main memory. This interference can slow down different applications differently. Accurately estimating the slowdown of each application in such a system can enable mechanisms that can enforce quality-of-service. While much prior work has focused on mitigating the performance degradation due to inter-application interference, there is little work on accurately estimating slowdown of individual applications in a multi-programmed environment. Our goal is to accurately estimate application slowdowns, towards providing predictable performance. To this end, we first build a simple Memory Interference-induced Slowdown Estimation (MISE) model, which accurately estimates slowdowns caused by memory interference. We then leverage our MISE model to develop two new memory scheduling schemes: 1) one that provides soft quality-of-service guarantees, and 2) another that explicitly attempts to minimize maximum slowdown (i.e., unfairness) in the system. Evaluations show that our techniques perform significantly better than state-of-the-art memory scheduling approaches to address the same problems. Our proposed model and techniques have enabled significant research in the development of accurate performance models [35, 59, 98, 110] and interference management mechanisms [66, 99, 100, 108, 119, 120].

연구 동기 및 목표

• 동시 실행되는 애플리케이션 간의 메모리 간섭으로 인한 다중코어 시스템에서의 예측 불가능한 성능 저하 문제 해결.
• 다중 프로그램 환경에서 개별 애플리케이션에 대한 정확한 온라인 성능 저하 추정의 부족을 극복.
• 공유 메모리 경쟁 하에서 애플리케이션의 성능 저하를 정확히 추정함으로써 예측 가능한 성능과 공정성 확보.
• 성능 저하 추정의 정확성을 기반으로 한 실용적인 메모리 스케줄링 기법 개발을 통한 서비스 품질 및 공정성 보장.
• 기존 메모리 컨트롤러에 최소한의 변경으로 통합이 가능한 단순하고 하드웨어 효율적인 모델 제공.

제안 방법

• 각 애플리케이션의 성능 저하를 '고립된' 요청 서비스 속도의 추정치와 실제 '공유' 요청 서비스 속도의 비율로 모델링.
• 메모리 컨트롤러를 사용해 각 애플리케이션의 공유 요청 서비스 속도(SRSR)를 실시간으로 추적.
• 측정 중 간섭을 최소화하기 위해 주기적으로 각 애플리케이션에 최고 우선순위를 할당하여 고립된 요청 서비스 속도(ARSR)를 추정.
• MISE 모델을 기반으로 두 가지 메모리 스케줄링 기법을 설계: 하나는 소프트 서비스 품질을 위한 것이고, 다른 하나는 최대 성능 저하(불공정성)를 최소화하기 위한 것이다.
• 실제 하드웨어에 MISE 모델을 적용하여 SPEC CPU2006 벤치마크와 마이크로벤치마크를 사용해 성능 추정 정확도를 검증.
• 한 번에 한 애플리케이션만 우선순위를 부여하는 메모리 대역폭 분할 기법을 적용하여 순위 기반 접근 방식에 비해 스케줄러 논리가 단순화됨.

실험 결과

연구 질문

• RQ1 공동 사용되는 주요 메모리 시스템에서 동시 워크로드가 존재할 때 애플리케이션의 성능 저하를 얼마나 정확하게 추정할 수 있는가?
• RQ2 메모리 집약적 워크로드에서 요청 서비스 속도가 애플리케이션 성능의 신뢰할 수 있는 대체 지표가 될 수 있는가?
• RQ3 간섭을 고려한 추정 방식에 비해 짧은 간격 동안 애플리케이션의 우선순위를 높임으로써 고립된 성능 추정 정확도가 어떻게 향상되는가?
• RQ4 정확한 성능 저하 추정이 서비스 품질 및 공정성 보장을 위한 효과적인 메모리 스케줄링을 가능하게 하는가?
• RQ5 MISE 모델은 DRAM 이외의 다양한 메모리 기술에 얼마나 널리 적용 가능한가?

주요 결과

• 메모리 집약적 애플리케이션의 성능은 메모리 요청이 얼마나 빠르게 처리되는지에 비례하므로, 요청 서비스 속도가 성능의 타당한 대체 지표임을 입증.
• 간섭이 존재하는 동안 추정하는 방법에 비해 짧은 간격 동안 우선순위를 높여 고립된 성능을 추정하는 것이 훨씬 정확도 높은 성능 저하 추정치를 제공함.
• MISE 기반으로 설계된 메모리 스케줄링 기법이 최신 기술 대비 최대 성능 저하를 줄이고 공정성을 향상시키는 데 뛰어난 성능을 발휘함.
• MISE 모델은 최소한의 하드웨어 변경으로도 높은 정확도를 달성하며, 메모리 컨트롤러에 단순한 우선순위 제어 논리만 추가하면 됨.
• MISE 모델은 복잡한 비교 논리가 필요로 하지 않아 순위 기반 스케줄링 기법보다 더 쉽게 구현 가능하며, 서비스 품질 및 공정성 메커니즘을 효과적으로 제공함.
• MISE의 원리는 캐시, I/O, 네트워크와 같은 다른 공유 자원에도 일반화 가능하며, 프래즈 체인지 메모리 및 STT-MRAM과 같은 신개념 메모리 기술에도 적용 가능함.