[論文レビュー] Predictable Performance and Fairness Through Accurate Slowdown Estimation in Shared Main Memory Systems

Lavanya Subramanian, Vivek Seshadri+3 more|arXiv (Cornell University)|May 15, 2018

Parallel Computing and Optimization Techniques参考文献 52被引用数 3

ひとこと要約

この論文では、リクエストのサービスレートをパフォーマンスの代理指標として用いることで、共有メインメモリシステムにおけるアプリケーションのスローダウンを正確に推定する軽量モデルMISEを提案する。定期的に各アプリケーションに優先順位を割り当てて「単独実行時」のパフォーマンスを推定することで、MISEは改善されたメモリスケジューリングにより予測可能なサービス品質と公平性を実現し、従来の手法に比べてスローダウン推定の精度とシステムの公平性の両面で優れている。

ABSTRACT

This paper summarizes the ideas and key concepts in MISE (Memory Interference-induced Slowdown Estimation), which was published in HPCA 2013 [97], and examines the work's significance and future potential. Applications running concurrently on a multicore system interfere with each other at the main memory. This interference can slow down different applications differently. Accurately estimating the slowdown of each application in such a system can enable mechanisms that can enforce quality-of-service. While much prior work has focused on mitigating the performance degradation due to inter-application interference, there is little work on accurately estimating slowdown of individual applications in a multi-programmed environment. Our goal is to accurately estimate application slowdowns, towards providing predictable performance. To this end, we first build a simple Memory Interference-induced Slowdown Estimation (MISE) model, which accurately estimates slowdowns caused by memory interference. We then leverage our MISE model to develop two new memory scheduling schemes: 1) one that provides soft quality-of-service guarantees, and 2) another that explicitly attempts to minimize maximum slowdown (i.e., unfairness) in the system. Evaluations show that our techniques perform significantly better than state-of-the-art memory scheduling approaches to address the same problems. Our proposed model and techniques have enabled significant research in the development of accurate performance models [35, 59, 98, 110] and interference management mechanisms [66, 99, 100, 108, 119, 120].

研究の動機と目的

• 複数のアプリケーションが同時に実行される環境におけるメモリ干渉による予測不能なパフォーマンス劣化を解消すること。
• マルチプログラム環境における個々のアプリケーションの正確なオンラインスローダウン推定の欠如を克服すること。
• 共有メモリ競合下でのアプリケーションスローダウンの正確な推定を通じて、予測可能なパフォーマンスと公平性を実現すること。
• スローダウン推定の正確性を活用した実用的なメモリスケジューリング機構を開発し、サービス品質と公平性の保証を可能にすること。
• 既存のメモリコントローラに最小限の変更で統合可能な、シンプルでハードウェア効率の良いモデルを提供すること。

提案手法

• アプリケーションのスローダウンを、その推定された「単独実行時」リクエストサービスレート（ARSR）と実際の「共有実行時」リクエストサービスレート（SRSR）の比としてモデル化する。
• メモリコントローラを用いて、各アプリケーションの共有リクエストサービスレート（SRSR）をリアルタイムで追跡する。
• 各アプリケーションに一時的に最高優先順位を与えることで、干渉を最小限に抑えた状態で「単独実行時」のリクエストサービスレート（ARSR）を推定する。
• MISEモデルを活用して、ソフトなサービス品質を目的としたスケジューリング方式と、最大スローダウン（不公平性）を最小化する方式の2種類のメモリスケジューリング方式を設計する。
• 実ハードウェアを用いてSPEC CPU2006ベンチマークとマイクロベンチマークを用い、パフォーマンス推定の正確性を検証する。
• 1度に1つのアプリケーションに優先順位を与えるメモリ帯域幅パーティショニング方式を採用し、順位ベースのアプローチと比較してスケジューラの論理を単純化する。

実験結果

リサーチクエスチョン

• RQ1 共存するワークロードを持つ共有メインメモリシステムにおいて、アプリケーションのスローダウンはどの程度正確に推定可能か？
• RQ2 メモリ制限のワークロードにおいて、リクエストサービスレートはアプリケーションパフォーマンスの信頼できる代理指標として機能するか？
• RQ3 干渉を考慮した推定とは対照的に、短時間にわたりアプリケーションに優先順位を与えることで、単独パフォーマンス推定の正確性はどのように向上するか？
• RQ4 正確なスローダウン推定は、サービス品質と公平性の保証のための有効なメモリスケジューリングを可能にするか？
• RQ5 MISEモデルはDRAMを越えたさまざまなメモリ技術へどの程度一般化可能か？

主な発見

• メモリ制限のアプリケーションのパフォーマンスは、そのメモリリクエストがどの程度のレートで処理されるかに直接比例しており、リクエストサービスレートがパフォーマンスの代理指標として有効であることが裏付けられた。
• 干渉が存在する状態で推定する手法と比較して、短時間にわたりアプリケーションに優先順位を与えることで単独パフォーマンスを推定する方法は、はるかに高い精度のスローダウン推定を実現した。
• MISEに基づく提案されたメモリスケジューリング方式は、最大スローダウンの低減と公平性の向上という点で、最先端のアプローチを上回った。
• MISEモデルは、メモリコントローラに単純な優先順位制御ロジックを追加するのみで高い正確性を達成でき、ハードウェア変更を最小限に抑えた。
• MISEモデルは、複雑な比較器ロジックを必要としないため、順位ベースのスケジューリング方式と比較してより実装可能であり、サービス品質と公平性のメカニズムを効果的に実現できる。
• MISEの原則は、キャッシュ、I/O、ネットワークなどの他の共有リソースや、フェーズチェンジメモリやSTT-MRAMのような新興メモリ技術に対しても一般化可能である。