[論文レビュー] Limitations of performance of Exascale Applications and supercomputers they are running on

János Végh|arXiv (Cornell University)|Aug 16, 2018

Distributed and Parallel Computing Systems被引用数 4

ひとこと要約

本論文は、70年前のバナッハ型コンピューティングパラダイム—単一スレッドプロセッサに焦点を当てたもの—が、エクサスケールスーパーコンピュータにおける根本的なパフォーマンス制限を生じることを説明するためにアムダールの法則を再解釈する。非並列化作業を合計計算の固定割合としてモデル化することで、著者らは、現在のアーキテクチャでは限界性能向上が避けられないことを示し、エクサスケールパフォーマンスの壁を超えるために、明示的で協力的な多数プロセッサシステムへのパラダイム転換を提唱する。

ABSTRACT

The paper highlights that the cooperation of the components of the computing systems receives even more focus in the coming age of exascale computing. It discovers that inherent performance limitations exist and identifies the major critical contributions of the performance on many-many processor systems. The extended and reinterpreted simple Amdahl model describes the behavior of the existing supercomputers surprisingly well, and explains some mystical happenings around high-performance computing. It is pointed out that using the present technology and paradigm only marginal development of performance is possible, and that the major obstacle towards higher performance applications is the 70-years old computing paradigm itself. A way to step forward is also suggested

研究の動機と目的

• 現在のエクサスケールスーパーコンピュータおよびそのアプリケーションにおける根本的なパフォーマンス制限を特定・分析すること。
• 70年前の単一プロセッサ型コンピューティングパラダイムが、意味のあるパフォーマンス向上を阻害する主な障壁であることを示すこと。
• 従来のバナッハ型モデルから、根本的なボトルネックを克服するための明示的で協力的な多数プロセッサシステムへのパラダイム転換を提唱すること。
• ベンチマーク挙動とハードウェア固有のパフォーマンス制約を理解することで、効率的なエクサスケールアプリケーションを書くための実用的フレームワークを提供すること。

提案手法

• 非並列化作業の割合を関数としてパフォーマンスをモデル化し、すべての非並列化寄与要因を1つの有効な非並列化コンponentとして扱うことで、アムダールの法則を拡張する。
• 実世界のスーパーコンピュータデータ（TOP500ランク、アプリケーション効率指標など）に拡張アムダールモデルを適用する。
• ベンチマーク挙動（例：HPL、HPCG、GHP-L）を分析し、異なるベンチマークがシステムパフォーマンスの異なる側面を測定していることを示す。
• 主なシステムコンポーネント（メモリ、インターコネクト、OSオーバヘッドなど）へのパフォーマンス寄与を割り当てる半技術的モデルを導入する。
• 実際のスーパーコンピュータの事例（例：Tianhe-2、Summit、AI Bridging Cloud Infrastructure）を評価し、モデルの予測能力を検証する。
• Tianhe-2のノードレベルクラスタリングの成功にインspiredされ、プロセッサ間の明示的で低レイテンシの協力に基づく新しいコンピューティングパラダイムを提唱する。

実験結果

リサーチクエスチョン

• RQ1 なぜ多くのエクサスケールアプリケーションが、現代のスーパーコンピュータ上で理論的ピークパフォーマンスのわずか数パーセントにしか達しないのか？
• RQ2 巨大並列システムにおけるパフォーマンススケーリングを制限する、バナッハ型コンピューティングモデルの固有の制限はどの程度強いのか？
• RQ3 アムダールの法則をどのように再解釈すれば、ソフトウェア並列化を超えた現代スーパーコンピュータのパフォーマンスボトルネックを説明できるのか？
• RQ4 なぜ、高名目コア数（例：Summit、AI Bridging Cloud）を備えた一部のスーパーコンピュータでは、非常に低い有効並列化効率が示されるのか？
• RQ5 現在の単一プロセッサアーキテクチャが引き起こすパフォーマンスの壁を乗り越えるために、どのような代替コンピューティングパラダイムが可能なのか？

主な発見

• 拡張アムダールモデルは、Summit（230万/280万コア使用）のようなシステムにおける低アプリケーション効率、AI Bridging Cloud Infrastructure（コア使用率2.8％）における観察されたパフォーマンス値を驚くほどよく説明できる。
• 一部のシステムでは有効非並列化割合（αeff）が極めて低くなる—例：AI Bridging Cloud Infrastructureでは5.9×10⁻⁵—これはアルゴリズム的制限ではなく、プロセッサ間協力の悪さによるものである。
• 高単一プロセッサ性能を誇るにもかかわらず、クラウドインフラに依存するシステムや、悪いインターコネクト設計のシステムは、高いループ遅延と非効率なデータ共有により、深刻なパフォーマンス損失を被る。
• Tianhe-2のRmaxおよびαHPLeffベンチマークにおける持続的パフォーマンスは、ノードレベルクラスタリングとプロセッサ間の明示的協力が、高い効率を達成し、トップランクを維持できることを示している。
• 本論文は、現在の技術とバナッハ型パラダイムが硬いパフォーマンスの壁を設けており、エクサスケールの夢の限界を超えるには、明示的で協力的な多数プロセッサシステムへのパラダイム転換が不可欠であると結論づける。
• シミュレータで検証された提案された新しいパラダイムは、コア間直接通信を可能にし、ループ遅延を低減する。これにより、スケーラブルで効率的なエクサスケールコンピューティングへの実現可能な道筋が得られる。