[論文レビュー] GLB: Lifeline-based Global Load Balancing library in X10

Wei Zhang, Olivier Tardieu+5 more|arXiv (Cornell University)|Dec 19, 2013

Distributed and Parallel Computing Systems参考文献 6被引用数 6

ひとこと要約

GLB は X10 におけるグローバルロードバランシングライブラリであり、ライフラインベースのワーキースティーリングアルゴリズムを活用することで、分散メモリシステムにおける不規則な並列ワークロードの効率的でスケーラブルな実行を可能にする。低レベルの同期を抽象化し、ユーザーが最小限のコード変更で逐次的なタスク論理のみを記述できるようにすることで、Power、Blue Gene/Q、K といった多様なアーキテクチャ上で最大 16,000 コアまでニアーライナーのスピンアップを達成する。

ABSTRACT

We present GLB, a programming model and an associated implementation that can handle a wide range of irregular paral- lel programming problems running over large-scale distributed systems. GLB is applicable both to problems that are easily load-balanced via static scheduling and to problems that are hard to statically load balance. GLB hides the intricate syn- chronizations (e.g., inter-node communication, initialization and startup, load balancing, termination and result collection) from the users. GLB internally uses a version of the lifeline graph based work-stealing algorithm proposed by Saraswat et al. Users of GLB are simply required to write several pieces of sequential code that comply with the GLB interface. GLB then schedules and orchestrates the parallel execution of the code correctly and efficiently at scale. We have applied GLB to two representative benchmarks: Betweenness Centrality (BC) and Unbalanced Tree Search (UTS). Among them, BC can be statically load-balanced whereas UTS cannot. In either case, GLB scales well-- achieving nearly linear speedup on different computer architectures (Power, Blue Gene/Q, and K) -- up to 16K cores.

研究の動機と目的

• ワークロードが不規則で予測不能な大規模分散システムにおける動的ロードバランシングの課題に対処すること。
• 複雑な同期、通信、ロードバランシングの論理をユーザーから隠蔽する高水準プログラミングモデルを提供すること。
• 低レベルのシステム知識を必要とせずに、異種アーキテクチャ（Power、Blue Gene/Q、K）上で不規則なアプリケーションの効率的でスケーラブルな並列実行を可能にすること。
• 一元的で決定論的なフレームワークを通じて静的および動的ロードバランシングの両方のワークロードをサポートし、正しいかつ再現可能な結果を保証すること。
• 開発者が逐次的なタスク論理のみを記述できるようにすることで、ユーザーのコード変更を最小限に抑え、ライブラリが自動的に配布、スケジューリング、結果の集約を処理すること。

提案手法

• 分散ノード間での効率的なタスク移行を可能にするために、コアのロードバランシングメカニズムとしてライフライングラフワーキースティーリングアルゴリズム [23] を採用する。
• X10 の非同期パーティショニンググローバルアドレス空間（APGAS）モデルを用いて、内部および相互の場所間の並列性を一様に表現し、配布と調整を単純化する。
• ユーザーがローカル状態と不変参照データへのアクセスを持つ自己完結型のタスクとしてタスクを定義できるようにし、場所間でのタスクの再配置を可能にする。
• 利用可能なすべての場所にタスクを自動的に配布し、障害耐性、終了検出、結果の集約を組み込みサポートで制御して実行をオーケストレーションする。
• タスクの粒度やランダム/ライフラインの犠牲者数といったユーザーが調整可能なパラメータをサポートし、スループットと応答遅延の間のパフォーマンストレードオフを最適化できる。
• X10 のネイティブなシリアル化サポートを活用して、明示的なシリアル化コードを記述せずにユーザー定義データ型をノード間で送信できる。

実験結果

リサーチクエスチョン

• RQ1 大規模分散システムにおける不規則なワークロードの静的および動的ロードバランシングを両立させるグローバルロードバランシングフレームワークは、どのように設計できるか？
• RQ2 高水準プログラミングモデルが複雑な同期や通信を抽象化しつつ、16,000 コアまでニアーライナーのスケーラビリティを達成できるか？
• RQ3 ライフラインベースのワーキースティーリングモデルは、分散メモリ環境における従来のワーキースティーリングや集中型ロードバランシング手法に比べて、どの程度優れているか？
• RQ4 スケーラブルな並列フレームワークにおいて、タスク論理とパフォーマンスチューニングの完全な制御を維持しつつ、ユーザーのコードを最小限に抑え、簡素化できるか？
• RQ5 このようなフレームワークのパフォーマンス特性は、Power、Blue Gene/Q、K といった多様なアーキテクチャおよび不規則なベンチマーク（UTS、BC）においてどのように現れるか？

主な発見

• GLB は Power、Blue Gene/Q、K の各アーキテクチャにおいて、Betweenness Centrality（BC）および Unbalanced Tree Search（UTS）ベンチマークでほぼ線形のスピンアップを達成する。
• フレームワークは 16,000 コアまで効率的にスケーリングされ、静的および動的ロードバランシングの両方のワークロードに対して強いスケーラビリティを示す。
• 過去の X10 を用いた実験では、55,680 個の Power7 コアで 98% の並列効率を達成しており、大規模システムにおける高いパフォーマンスを示している。
• ライブラリによりユーザーは明示的な通信や同期コードを記述せず、逐次的なタスク論理のみを記述できるため、開発の複雑さが著しく低下する。
• X10 のネイティブなシリアル化および APGAS モデルの活用により、ノード間のデータ転送が簡素化され、低レベルのシステムプログラミングの必要性が減少する。
• タスクの粒度やライフラインの犠牲者数といったパラメータによるパフォーマンスチューニングをサポートしており、ユーザーがシステム知識を深く理解しなくてもスループットや遅延の最適化が可能である。