[論文レビュー] Ridgeline: A 2D Roofline Model for Distributed Systems

Fabio Checconi, Jesmin Jahan Tithi+1 more|arXiv (Cornell University)|Sep 3, 2022

Distributed and Parallel Computing Systems被引用数 4

ひとこと要約

Ridgelineは、分散システムにおける計算、メモリ、ネットワーク制約を統合した2次元パフォーマンス可視化により、従来のルーフラインモデルを拡張した。これにより、直感的なボトルネック同定が可能となり、データ並列なMLPではバッチサイズが512未満の場合はすべてのリダクションのオーバーヘッドによりネットワーク制約となるのに対し、より大きなバッチサイズでは計算制約となることが明らかになった。これは、標準のルーフラインモデルでは見過ごされるニュアンスである。

ABSTRACT

In this short paper, we introduce the Ridgeline model, an extension of the Roofline model [4] for distributed systems. The Roofline model targets shared memory systems, bounding the performance of a kernel based on its operational intensity, and the peak compute throughput and memory bandwidth of the execution system. In a distributed setting, with multiple communicating compute entities, the network must be taken into account to model the system behavior accurately. The Ridgeline aggregates information on compute, memory, and network limits in one 2D plot to show, in an intuitive way, which of the resources is the expected bottleneck. We show the applicability of the Ridgeline in a case study based on a data-parallel Multi-Layer Perceptron (MLP) instance.

研究の動機と目的

• 標準のルーフラインモデルが分散システムにおけるネットワーク帯域幅制約を捉えていないという限界を解消すること。
• 元のルーフラインが持つ直感的な魅力を保ちつつ、ネットワークおよびメモリ制約を統合した簡素化された2次元可視化を開発すること。
• MLPトレーニングのようなデータ並列機械学習ワークロードにおける正確なパフォーマンス予測およびボトルネック同定を可能にすること。
• ネットワーク通信（例：すべてのリダクション）がパフォーマンスコストの主因となる状況を同定する際のモデルの有効性を示すこと。
• 分散型および解体型HPC環境におけるパフォーマンス分析の実用的フレームワークを提供すること。

提案手法

• Ridgelineモデルは、算術強度（FLOPS/メモリバイト）とメモリ強度（メモリバイト/ネットワークバイト）を用いて、計算、メモリ、ネットワークの3つのパフォーマンス制約を2次元平面に射影する。
• 2つのルーフライン風の曲線を重ねる：1つは計算対メモリ強度、もう1つはメモリ対ネットワーク強度。これにより、交差する境界線が形成される。
• これらの線の交点により、平面が4つの象限に分けられ、それぞれが異なるパフォーマンスボトルネックを示す：ネットワーク制約（左下）、メモリ制約（右下）、計算制約（右上）、および混合状態（左上）。
• 左上象限では、x軸とy軸の値の積（FLOPS/ネットワークバイト × ネットワーク帯域幅）を用いて、有効なパフォーマンス上限を決定する。
• モデルは、FLOPS/ネットワークバイト × ネットワーク帯域幅が一定である位置を「リッジライン」として特定し、直線全体で一貫したGFLOPS/sを保証する。
• この手法により、実行時間を支配的リソース（メモリトラフィック / メモリ帯域幅、ネットワークトラフィック / ネットワーク帯域幅、合計FLOPS / コンピューティング能力）に割り当てることで、パフォーマンス予測が可能になる。

実験結果

リサーチクエスチョン

• RQ1 分散システムにおけるネットワーク帯域幅を考慮するには、どのようにしてルーフラインモデルを拡張できるか？
• RQ2 2次元可視化は、元のルーフラインの解釈可能性を保ちつつ、ネットワークおよびメモリ制約を統合できるか？
• RQ3 すべてのリダクション通信を考慮した場合、データ並列MLPトレーニングでどのようなパフォーマンスボトルネックが生じるか？
• RQ4 バッチサイズが、現代のハードウェア上で分散MLPトレーニングのパフォーマンスボトルネックにどのように影響を与えるか？
• RQ5 Ridgelineモデルは、分散トレーニングにおける通信（すべてのリダクション）が主なコスト要因となる状況を正確に予測できるか？

主な発見

• インテルXeon Cascade Lakeノード上でのデータ並列MLPでは、バッチサイズが512未満の場合は、高い算術強度にもかかわらず、すべてのリダクション通信のオーバーヘッドによりネットワーク制約となる。
• バッチサイズが512以上の場合、Ridgelineプロットとタイミング予測の両方で計算制約となることが確認された。
• 標準のルーフラインモデルはすべてのリダクションコストを捉えておらず、実際にはネットワーク制約であるにもかかわらず、小さなバッチサイズはメモリ制約であると誤って示唆している。
• Ridgelineプロットは明確に3つのパフォーマンス領域を分離する：ネットワーク制約（左下）、メモリ制約（右下）、計算制約（右上）、リッジラインはパフォーマンス上限を示す。
• Ridgeline上でのx軸とy軸の値の積が一定であるため、直線全体で一貫したGFLOPS/sが保証され、モデルの理論的整合性が裏付けられた。
• 実行時間を支配的リソースに割り当てることで、パフォーマンス予測が正確に可能となり、事例研究における予測タイミング測定結果とも一致した。