[논문 리뷰] Providing High and Controllable Performance in Multicore Systems Through Shared Resource Management

Lavanya Subramanian|arXiv (Cornell University)|2015. 08. 12.

Parallel Computing and Optimization Techniques참고 문헌 112인용 수 9

한 줄 요약

이 논문은 메모리와 캐시와 같은 공유 자원에서 발생하는 간섭을 관리하여 다코어 시스템에서 높고 제어 가능한 성능을 달성하는 새로운 접근법을 제안한다. 저자는 저복잡도의 공정한 메모리 접근 제어를 위한 블랙리스트 메모리 스케줄러와 메모리 및 캐시 간섭으로 인한 응용 프로그램의 성능 저하를 추정하기 위한 MISE 및 ASM 모델을 도입하여, 서비스 속도 기반 지표를 통해 성능 보장을 가능하게 한다.

ABSTRACT

Multiple applications executing concurrently on a multicore system interfere with each other at different shared resources such as main memory and shared caches. Such inter-application interference, if uncontrolled, results in high system performance degradation and unpredictable application slowdowns. While previous work has proposed application-aware memory scheduling as a solution to mitigate inter-application interference and improve system performance, previously proposed memory scheduling techniques incur high hardware complexity and unfairly slowdown some applications. Furthermore, previously proposed memory-interference mitigation techniques are not designed to precisely control application performance. This dissertation seeks to achieve high and controllable performance in multicore systems by mitigating and quantifying the impact of shared resource interference. First, towards mitigating memory interference and achieving high performance, we propose the Blacklisting memory scheduler that achieves high performance and fairness at low complexity. Next, towards quantifying the impact of memory interference and achieving controllable performance in the presence of memory bandwidth interference, we propose the Memory Interference induced Slowdown Estimation (MISE) model. We propose and demonstrate two use cases that can leverage MISE to provide soft performance guarantees and high overall performance/fairness. Finally, we seek to quantify the impact of shared cache interference on application slowdowns, in addition to memory bandwidth interference. Towards this end, we propose the Application Slowdown Model (ASM). We propose and demonstrate several use cases of ASM that leverage it to provide soft performance guarantees and improve performance and fairness.

연구 동기 및 목표

• 메모리와 캐시와 같은 공유 자원에서 응용 프로그램 간 간섭으로 인한 예측 불가능한 성능 저하 문제를 해결한다.
• 전체 순서를 사용하는 기존의 응용 프로그램 인식 메모리 스케줄러에 비해 하드웨어 복잡도를 감소시키고 공정성을 향상시킨다.
• 서비스 속도 기반 추정 모델을 통해 메모리 및 캐시 간섭으로 인한 성능 저하를 정량화함으로써 정밀한 성능 제어를 가능하게 한다.
• 메모리 대역폭을 넘어서 공유 캐시 간섭까지 포함하여 성능 저하 추정의 통합 프레임워크를 제공함으로써 성능 관리 범위를 확장한다.
• 정확하고 저비용 간섭 추정 및 자원 할당을 통해 소프트 성능 보장과 전체 시스템의 공정성 향상을 지원한다.

제안 방법

• 응용 프로그램을 간섭에 취약한 유형과 간섭을 유발하는 유형으로 분류하는 블랙리스트 메모리 스케줄러를 설계하며, 이는 연속된 메모리 요청 수를 기반으로 한다. 이때 간섭에 취약한 유형을 우선순위로 배정한다.
• 요청-서비스 속도를 응용 프로그램 성능의 대체 지표로 사용하며, 실행 중 응용 프로그램의 메모리 액세스 패턴을 격리하여 간섭이 없는 상태의 서비스 속도를 추정한다.
• MISE 모델을 개발하여 성능 저하를 간섭이 없는 요청-서비스 속도와 간섭이 있는 요청-서비스 속도의 비율로 추정함으로써 간섭 하에서의 성능 예측이 가능하게 한다.
• 메모리에 종속되지 않는 응용 프로그램에 대해서는 단순한 수정을 통해 MISE를 확장하여 성능 특성을 반영한다.
• ASM 모델을 제안하여 캐시 액세스 속도를 성능 대체 지표로 사용함으로써 공유 캐시 간섭으로 인한 성능 저하 추정을 일반화한다.
• 메모리 간섭을 최소화하고 캐시 간섭을 정량화함으로써 각 응용 프로그램의 캐시 액세스 속도-단독 상태를 주기적으로 추정함으로써 정확한 성능 저하 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 낮은 하드웨어 복잡도로 공유 메모리 간섭을 어떻게 완화하면서 응용 프로그램 간 공정성을 확보할 수 있는가?
• RQ2 요청-서비스 속도는 메모리 간섭으로 인한 성능 저하를 추정하기 위해 신뢰성 있게 응용 프로그램 성능의 대체 지표로 사용될 수 있는가?
• RQ3 모든 응용 프로그램 유형에 일반화된 방식으로 공유 캐시 간섭으로 인한 성능 저하를 어떻게 추정하고 관리할 수 있는가?
• RQ4 성능 저하 추정 모델의 효과적인 사용 사례는 무엇이며, 이를 통해 소프트 성능 보장과 공정성 향상을 어떻게 달성할 수 있는가?
• RQ5 메모리 대역폭, 캐시, 스토리지와 같은 다수의 공유 자원에서 발생하는 간섭을 어떻게 조율하여 종합적인 성능 관리를 달성할 수 있는가?

주요 결과

• 블랙리스트 메모리 스케줄러는 최신 응용 프로그램 인식 스케줄러에 비해 훨씬 낮은 하드웨어 복잡도로 높은 시스템 성능과 공정성을 달성한다.
• MISE 모델은 간섭이 없는 요청-서비스 속도와 간섭이 있는 요청-서비스 속도의 비율로 응용 프로그램의 성능 저하를 정확하게 추정하여 메모리 간섭 하에서의 성능 예측이 가능하다.
• ASM 모델은 캐시 액세스 속도를 성능 대체 지표로 사용함으로써 공유 캐시 간섭으로 인한 성능 저하 추정을 일반화하여 모든 응용 프로그램 유형에 대해 정확한 예측이 가능하다.
• MISE 및 ASM 모델은 소프트 성능 보장과 저비용 실시간 간섭 추정을 통한 공정성 향상과 같은 실용적 사용 사례를 가능하게 한다.
• 요청-서비스 속도가 메모리 및 캐시 자원 전반에서 성능과 선형 상관관계를 보임을 입증함으로써 추정 모델의 핵심 가정이 타당함을 확인한다.
• 메모리 및 캐시 간섭 관리의 통합은 현대 다코어 시스템에서 하드웨어-소프트웨어 협업 기반 자원 관리의 새로운 기회를 열어준다.