[論文レビュー] Analysis of Distributed Execution of Workloads.

Matteo Turilli, Yadu Babuji+5 more|arXiv (Cornell University)|May 31, 2016

Distributed and Parallel Computing Systems参考文献 12被引用数 4

ひとこと要約

本論文は、AIMESミドルウェアとSwiftを統合したフレームワークを提案し、複数のプロダクションリソースにまたがる異種で非結合なワークロードのスケーラブルで相互運用可能な分散実行を可能にする。実験的比較を通じて、バックフィルスケジューリングが完了時間を短縮し、パイロット断片化を軽減することを示し、5つの異なるリソースにおける効率的なマルチステージワークフロー実行を可能にする。

ABSTRACT

Resource selection and task placement for distributed execution poses conceptual and implementation difficulties. Although resource selection and task placement are at the core of many tools and workflow systems, the models and methods are underdeveloped. Consequently, partial and non-interoperable implementations proliferate. We address both the conceptual and implementation difficulties by experimentally characterizing diverse modalities of resource selection and task placement. We compare the architectures and capabilities of two systems: the AIMES middleware and Swift workflow scripting language and runtime. We integrate these systems to enable the distributed execution of Swift workflows on Pilot-Jobs managed by the AIMES middleware. Our experiments characterize and compare alternative execution strategies by measuring the time to completion of heterogeneous uncoupled workloads executed at diverse scale and on multiple resources. We measure the adverse effects of pilot fragmentation and early binding of tasks to resources and the benefits of backfill scheduling across pilots on multiple resources. We then use this insight to execute a multi-stage workflow across five production-grade resources. We discuss the importance and implications for other tools and workflow systems.

研究の動機と目的

• 分散ワークフローにおけるリソース選択およびタスク配置に関する概念的・実装的課題を解決すること。
• AIMESミドルウェアとSwiftワークフローシステムのアーキテクチャおよび機能を比較し、分散実行を支援する能力を評価すること。
• パイロット断片化および早期タスクバインディングがワークフロー完了時間に与える影響を評価すること。
• 複数のパイロットジョブにわたるバックフィルスケジューリングの利点を検討し、リソース利用効率の向上を図ること。
• 5つの異種でプロダクショングレードのリソースにまたがるマルチステージワークフローのエンドツーエンド実行を可能にし、その有効性を評価すること。

提案手法

• AIMESミドルウェアとSwiftワークフローシステムを統合し、パイロットジョブ管理とワークフロー実行を調整すること。
• AIMESが管理するパイロットジョブを用いて、持続的かつ事前割り当てられたリソースを提供し、Swiftワークフローを実行すること。
• 複数のリソースにおけるスケールが異なる異種で非結合なワークロードの完了までの時間を実験的に測定すること。
• バックフィルスケジューリングの有無を比較することで、パフォーマンス向上を評価すること。
• 早期タスクバインディングおよびパイロット断片化がワークフロー効率に与える影響を分析すること。
• 5つのプロダクショングレードのリソースにまたがるマルチステージワークフローを実行し、スケーラビリティおよび相互運用性を検証すること。

実験結果

リサーチクエスチョン

• RQ1 タスクをリソースに早期にバインドすることは、分散ワークロードの完了時間にどのように影響するか？
• RQ2 パイロット断片化は、分散ワークフロー実行のパフォーマンスおよびスケーラビリティにどのような影響を与えるか？
• RQ3 複数のパイロットジョブにわたるバックフィルスケジューリングは、ワークフロー完了時間の短縮にどの程度寄与するか？
• RQ4 AIMESとSwiftのアーキテクチャ的差異は、相互運用性およびリソース利用効率にどのように影響するか？
• RQ5 統合システムを用いて、5つの異種でプロダクショングレードのリソースにまたがるマルチステージワークフローを効率的かつ信頼性高く実行できるか？

主な発見

• 複数のパイロットジョブにわたるバックフィルスケジューリングは、リソース利用効率の向上により、ワークフローの完了時間を顕著に短縮する。
• パイロット断片化は、分散実行環境における完了時間の増加およびスケーラビリティの低下を引き起こす。
• タスクをリソースに早期にバインドすることは、特に負荷が変動する条件下で非効率を悪化させる。
• AIMESとSwiftの統合により、多様なプロダクションリソースにまたがるマルチステージワークフローの相互運用可能でスケーラブルな実行が可能になる。
• 実験的評価により、提案戦略が完了時間を短縮し、異種で大規模な実行シナリオにおけるレジリエンスを向上させることを確認した。