[論文レビュー] Providing High and Controllable Performance in Multicore Systems Through Shared Resource Management

Lavanya Subramanian|arXiv (Cornell University)|Aug 12, 2015

Parallel Computing and Optimization Techniques参考文献 112被引用数 9

ひとこと要約

この論文は、メモリやキャッシュなどの共有リソースにおける干渉を管理することにより、マルチコアシステムにおける高い性能と制御可能性を達成するための新しい手法を提案する。低コストで公平なメモリアクセス制御を実現するブラックリストメモリスケジューラを導入し、メモリおよびキャッシュ干渉によるアプリケーションの遅延を推定するためのMISEおよびASMモデルを提示することで、サービスレートに基づくメトリクスを用いた性能保証を可能にする。

ABSTRACT

Multiple applications executing concurrently on a multicore system interfere with each other at different shared resources such as main memory and shared caches. Such inter-application interference, if uncontrolled, results in high system performance degradation and unpredictable application slowdowns. While previous work has proposed application-aware memory scheduling as a solution to mitigate inter-application interference and improve system performance, previously proposed memory scheduling techniques incur high hardware complexity and unfairly slowdown some applications. Furthermore, previously proposed memory-interference mitigation techniques are not designed to precisely control application performance. This dissertation seeks to achieve high and controllable performance in multicore systems by mitigating and quantifying the impact of shared resource interference. First, towards mitigating memory interference and achieving high performance, we propose the Blacklisting memory scheduler that achieves high performance and fairness at low complexity. Next, towards quantifying the impact of memory interference and achieving controllable performance in the presence of memory bandwidth interference, we propose the Memory Interference induced Slowdown Estimation (MISE) model. We propose and demonstrate two use cases that can leverage MISE to provide soft performance guarantees and high overall performance/fairness. Finally, we seek to quantify the impact of shared cache interference on application slowdowns, in addition to memory bandwidth interference. Towards this end, we propose the Application Slowdown Model (ASM). We propose and demonstrate several use cases of ASM that leverage it to provide soft performance guarantees and improve performance and fairness.

研究の動機と目的

• メモリやキャッシュなどの共有リソースにおけるアプリケーション間干渉によって引き起こされる予測不能な性能低下の問題に対処すること。
• アプリケーション全体の順序付けを用いる従来のアプリケーションに配慮したメモリスケジューラと比較して、ハードウェアの複雑さを低減し、公平性を向上させること。
• サービスレートに基づく推定モデルを用いて、メモリおよびキャッシュ干渉によって引き起こされる遅延を定量化することで、正確な性能制御を可能にすること。
• メモリ帯域幅を超えて、共有キャッシュ干渉を含めた性能管理を拡張し、遅延推定の統一フレームワークを提供すること。
• 正確で低コストの干渉推定とリソース割り当てを活用して、ソフト性能保証およびシステム全体の公平性の向上を実現すること。

提案手法

• 連続するメモリリクエスト数に基づいてアプリケーションを「干渉に弱い」および「干渉を引き起こす」の2つのグループに分類し、前者を優先するブラックリストメモリスケジューラを設計する。
• リクエストサービスレートをアプリケーションの性能の代理指標として用い、実行中にアプリケーションのメモリアクセスパターンを分離することで、干渉なしのサービスレートを推定する。
• MISEモデルを構築し、干渉なしのリクエストサービスレートと干渉ありのリクエストサービスレートの比として遅延を推定することで、干渉下での性能予測を可能にする。
• 非メモリ制限アプリケーションに対しても、単純な修正を加えることでMISEを拡張し、その性能特性を反映させる。
• ASMモデルを提案し、キャッシュアクセスレートを性能の代理指標として用いることで、共有キャッシュ干渉への遅延推定を一般化する。
• メモリ干渉を最小限に抑えた状態で各アプリケーションのキャッシュアクセスレートを定期的に推定し、キャッシュ干渉を定量することで、正確な遅延予測を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ハードウェアの複雑さを低く抑えつつ、アプリケーション間の公平性を確保するため、共有メモリ干渉をどのように軽減できるか。
• RQ2 リクエストサービスレートは、メモリ干渉による遅延を推定するための信頼できる性能の代理指標として使用可能か。
• RQ3 すべてのアプリケーションタイプに一般化可能な方法で、共有キャッシュ干渉による遅延をどのように推定・管理できるか。
• RQ4 遅延推定モデルの有効な用途例として、ソフト性能保証および公平性の向上を実現するにはどのような活用法があるか。
• RQ5 メモリ帯域幅、キャッシュ、ストレージといった複数の共有リソースからの干渉をどのように統合的に管理し、包括的な性能管理を実現できるか。

主な発見

• ブラックリストメモリスケジューラは、最先端のアプリケーションに配慮したスケジューラと比較して、顕著に低いハードウェア複雑さで高いシステム性能と公平性を達成する。
• MISEモデルは、干渉なしのリクエストサービスレートと干渉ありのリクエストサービスレートの比として遅延を正確に推定でき、メモリ干渉下での性能予測を可能にする。
• ASMモデルはキャッシュアクセスレートを性能の代理指標として用いることで、共有キャッシュ干渉への遅延推定を拡張し、あらゆるアプリケーションタイプに対して正確な予測を可能にする。
• MISEおよびASMモデルの両方とも、低コストでリアルタイムの干渉推定を可能にし、ソフト性能保証や公平性の向上といった実用的応用を実現する。
• 本研究では、リクエストサービスレートがメモリおよびキャッシュリソースにおいて性能と線形相関を示すことが実証され、推定モデルの核心的仮定が裏付けられる。
• メモリおよびキャッシュ干渉管理の統合は、現代のマルチコアシステムにおける協調的でハードウェア・ソフトウェア連携型リソース管理の新たな可能性を開く。