[論文レビュー] Characterizing the Performance of Emerging Deep Learning, Graph, and High Performance Computing Workloads Under Interference

Hao Xu, Shuang Song+1 more|arXiv (Cornell University)|Mar 28, 2023

Cloud Computing and Resource Management被引用数 8

ひとこと要約

この論文は、625組のペアに対して、グラフ・DL・HPCの25個の最新ワークロードを同時実行した場合の干渉を実証的に分析し、ハーモニーと被害者–加害者パターンを特定し、干渉の発生要因をハードウェアとソフトウェア要因に遡る。

ABSTRACT

Throughput-oriented computing via co-running multiple applications in the same machine has been widely adopted to achieve high hardware utilization and energy saving on modern supercomputers and data centers. However, efficiently co-running applications raises new design challenges, mainly because applications with diverse requirements can stress out shared hardware resources (IO, Network and Cache) at various levels. The disparities in resource usage can result in interference, which in turn can lead to unpredictable co-running behaviors. To better understand application interference, prior work provided detailed execution characterization. However, these characterization approaches either emphasize on traditional benchmarks or fall into a single application domain. To address this issue, we study 25 up-to-date applications and benchmarks from various application domains and form 625 consolidation pairs to thoroughly analyze the execution interference caused by application co-running. Moreover, we leverage mini-benchmarks and real applications to pinpoint the provenance of co-running interference in both hardware and software aspects.

研究の動機と目的

• 共有ハードウェア資源（キャッシュ、メモリ、IO、ネットワーク）を同時実行の複数アプリがどのように圧迫するかを理解する。
• グラフ、DL、HPC、CPUベンチマークの25の多様で最新なワークロードから干渉を特徴づける。
• 625のワークロード組み合わせの実行時間と帯域への影響を定量化する。
• 小規模ベンチマークとプロファイリングツールを用いて干渉の発生源を特定する。

提案手法

• グラフ分析、深層学習、SPEC CPU2017、PARSEC、HPC分野から最新のアプリケーション/ベンチマークを計5つ選定する。
• 625組の統合タスクペアを作成し、各組を3回評価して干渉測定を堅牢化する。
• 単独実行時の特性（スケーラビリティ、プレフェッチ感度、メモリ帯域）を特徴づけ、同時実行時の実行時間と帯域を測定する。
• ミニベンチマーク（Bandit、Stream）とプロファイリング（Intel PCM、VTune）を用いて干渉のハードウェア/ソフトウェア要因を特定する。
• 相互作用カテゴリ（ハーモニー、被害者–加害者、双方被害者）を定義し、同時実行関係を説明する。
• 強く影響を受ける組み合わせの干渉の発生源を分析し、ハードウェア貢献とソフトウェア貢献を区別する。

実験結果

リサーチクエスチョン

• RQ1 グラフ、DL、HPC分野の同時実行ワークロードは共用ハードウェア資源で互いにどのように干渉するか？
• RQ2 どのワークロード特性（スケーラビリティ、メモリ帯域、プレフェッチャ感度）が高い干渉を予測するか？
• RQ3 干渉の根本原因はハードウェア競合かソフトウェアパターンか、ミニベンチマークとプロファイリングを用いてどのように特定できるか？
• RQ4 625組の組み合わせにおいてどのような相互作用パターン（ハーモニー、被害者–加害者、双方被害者）が現れ、どの組み合わせが最も悪影響か？

主な発見

• グラフ分析ワークロードはキャッシュとメモリ競合に対して脆弱で、メモリ集約的な同時実行を行う他のジョブに大きな影響を与え得る。
• いくつかの組はハーモニーを示し、両方のタスクが前景・背景の役割で1.5倍未満の緩い遅延で実行される。
• 被害者–加害者の例としてG-CCとCIFAR（前景G-CCが約54.7%遅く、CIFARが約25%遅く）およびG-CCとfotonik3d（G-CCが約198%遅く、CIFARが約46%遅く）を挙げる。
• いくつかの双方被害者ケース（例：CIFARとfotonik3d）では相互劣化を示し（CIFAR +52%、fotonik3d +54%）、干渉が相互に強化される。
• ミニベンチマークは、メモリ帯域集約型で規則的パターンのワークロード（例：Stream）が、LLCとメモリ競合を介してグラフおよび DL ワークロードに対する干渉を強く駆動することを示す。
• プロファイリングは、問題のある組ではCPI、L2_PCP、LLC MPKI、LLの上昇を示し、共有リソースのボトルネックが主要な干渉要因であることを示唆する。