[論文レビュー] RADICAL-Pilot: Scalable Execution of Heterogeneous and Dynamic Workloads on Supercomputers.

André Merzky, Mark Santcroos+2 more|arXiv (Cornell University)|Dec 27, 2015

Distributed and Parallel Computing Systems参考文献 4被引用数 27

ひとこと要約

RADICAL-Pilot (RP) は、スパコン上で異種かつ動的に関連する科学的ワークロードを実行するために設計されたスケーラブルで相互運用可能なパイロットシステムである。リソース最適化されたエージェントコンponentを介してパイロット抽象化を実装し、HPCリソースの効率的利用を可能にするとともに、完全な一般性を保ちながら、複数の異種HPCシステムにおいて優れたパフォーマンスを示す。

ABSTRACT

Traditionally high-performance computing (HPC) systems have been optimized to support mostly monolithic workloads. The workload of many important scientific applications however, is comprised of spatially and temporally heterogeneous tasks that are often dynamically inter-related. These workloads can benefit from being executed at scale on HPC resources but a tension exists between their resource utilization requirements and the capabilities of HPC system software and HPC usage policies. Pilot systems have successfully been used to address this tension. In this paper we introduce RADICAL-Pilot (RP), a scalable and interoperable pilot system that faithfully implements the Pilot abstraction. We describe its design and characterize the performance of its components, as well as its performance on multiple heterogeneous HPC systems. Specifically, we characterize RP's task execution component (the RP Agent), which is engineered for optimal resource utilization while maintaining the full generality of the Pilot abstraction.

研究の動機と目的

• 現代の動的で異種の科学的ワークロードと、モノリシックなワークロードを最適化した伝統的なHPCシステムとの間の不一致を解消すること。
• 複雑なワークロードのリソース要件と、HPCシステムソフトウェアおよび運用ポリシーの能力との間の緊張を軽減すること。
• パイロット抽象化を忠実に実装するとともに、高いリソース利用効率とスケーラビリティを確保するパイロットシステムを設計すること。
• 標準的で拡張可能なアーキテクチャを通じて、多様な異種HPC環境間での相互運用性を実現すること。

提案手法

• RPシステムは、ワークロード実行と低レベルのリソース管理を分離するパイロット抽象化を採用しており、動的スケジューリングとリソース割り当てを可能にしている。
• RPエージェントコンponentは、最小限のオーバーヘッドで異種HPCシステム across でタスク実行を管理するよう最適化されており、リソース利用効率を最大化している。
• 実行時における適応とリソース再構成を可能にすることで、タスク間の動的依存関係をサポートしている。
• 軽量で分散型のアーキテクチャを採用することで、異なるHPC環境およびリソースマネージャー間でのスケーラビリティと相互運用性を確保している。
• バッチ実行モデルとインタラクティブ実行モデルの両方をサポートしており、多様な科学的ワークフローに対応している。
• パフォーマンスと一般性の妥当性を検証するため、複数の異種HPCシステム上でシステムを評価している。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてパイロットシステムが現代のスパコン上で動的に関連する異種のワークロードを効果的に管理できるか？
• RQ2 パイロット抽象化の完全な一般性を保ちながら、リソース利用効率をどの程度向上させられるか？
• RQ3 RPエージェントは、多様なHPCアーキテクチャにおいてリソース効率とスケーラビリティの観点でどの程度のパフォーマンスを示すか？
• RQ4 異種HPCシステムにデプロイされた際、パイロット抽象化のオーバーヘッドとパフォーマンスへの影響は何か？

主な発見

• RPエージェントは、異種HPCシステム across でタスクスケジューリングとリソース割り当てを効率的に管理することで、高いリソース利用効率を達成している。
• RADICAL-Pilot は、パイロット抽象化の忠実な実装により、複雑で動的に関連するワークロードを効果的にサポートしている。
• システムは複数の異種HPC環境にわたりスケーラビリティと相互運用性を示し、一貫したパフォーマンスを実現している。
• 設計により、実行時オーバーヘッドが低く抑えられ、一般性を損なわず効率性を維持している。
• パフォーマンスの特徴付けにより、RPが空間的・時間的におそらかされたワークロードを大規模に効果的に処理できていることが示された。
• システムにより、複雑な科学的ワークロードとHPCリソースポリシーとの間の整合性が向上し、実行時の摩擦が軽減された。