[論文レビュー] SimGrid: a Sustained Effort for the Versatile Simulation of Large Scale Distributed Systems

Henri Casanova, Arnaud Giersch+3 more|arXiv (Cornell University)|Sep 6, 2013

Distributed and Parallel Computing Systems参考文献 4被引用数 16

ひとこと要約

SimGrid は、15年以上にわたり持続的資金援助、きめ細やかなエンジニアリング、活発なコミュニティ参加を通じて開発された成熟したオープンソースのシミュレーションフレームワークであり、HPC、クラウド、P2P、グリッドワークロードの正確でスケーラブルかつ再現可能なシミュレーションを、モジュラーなモデル、継続的インテグレーション、そして拡大し続けるツールおよびドキュメントのエコシステムを用いて実現している。

ABSTRACT

In this paper we present Simgrid, a toolkit for the versatile simulation of large scale distributed systems, whose development effort has been sustained for the last fifteen years. Over this time period SimGrid has evolved from a one-laboratory project in the U.S. into a scientific instrument developed by an international collaboration. The keys to making this evolution possible have been securing of funding, improving the quality of the software, and increasing the user base. In this paper we describe how we have been able to make advances on all three fronts, on which we plan to intensify our efforts over the upcoming years.

研究の動機と目的

• カスタムで文書化されていない、あるいは利用できないシミュレータが原因で生じる大規模分散システムのシミュレーション研究における再現性の欠如を解消すること。
• HPC、クラウド、P2P、グリッドの複数の分野に適用可能な単一で多用途かつ拡張可能なフレームワークを構築することで、シミュレーションツールの断片化を克服すること。
• 多様な資金源、きめ細やかなソフトウェア工学的手法、および活発なユーザー参加を通じて、科学的ソフトウェアツールの長期的持続可能性を確保すること。
• 基本的なタスクグラフモデルから、時間依存リソース動作や障害挿入を含む高度なモデルへ進化させることで、シミュレーションの正確性とスケーラビリティを向上させること。
• 発展を促進し、元の研究チームの活動が終了した後もツールが関連性を保つために、成長し続ける国際的なユーザーコミュニティを育成すること。

提案手法

• タスクスケジューリングからフルアプリケーション実行まで多様なユースケースをカバーする、MSG、SimDag、GRAS といった複数の API を備えたモジュラーなシミュレーションコアを構築した。
• 従来のワームホールモデルに比べて精度を向上させるためのフラッドネットワークモデルを実装し、より現実的なパフォーマンス予測を可能にした。
• 時間変動するリソースパフォーマンスと障害イベントをモデル化するトレースベースシミュレーションを導入し、大規模なシナリオにおける現実性を高めた。
• Git、継続的インテグレーション（CDash）、250以上のユニットテストを含むテストスイート（tesh）を活用した堅牢なソフトウェアエンジニアリングパイプラインを確立し、コードの安定性とクロスプラットフォーム互換性を確保した。
• チュートリアル、ドキュメント、ユーザーデイズ、メーリングリストを含む包括的なエコシステムを構築し、ユーザーの採用とコミュニティ主導の開発を維持した。
• 国立機関や研究助成金など複数の資金源を確保し、大陸を越えて分散したチームからの積極的な貢献を活用することで、長期的な持続可能性を確保した。

実験結果

リサーチクエスチョン

• RQ1 どのようなシミュレーションフレームワークが、多様な科学的分野にわたり長期的持続可能性と広範な採用を達成できるか？
• RQ2 長期間にわたる科学的ソフトウェアにおいて、高いコード品質と信頼性を維持するために不可欠なソフトウェア工学的手法は何か？
• RQ3 発表された研究で使用されるシミュレーションツールが、再現性と透明性を確保するにはどのような仕組みが必要か？
• RQ4 オープンソースの科学的ソフトウェアに対して、成長し、活発なユーザーコミュニティを育成するにはどのようなメカニズムが必要か？
• RQ5 1つのシミュレーションフレームワークが、HPC、クラウド、P2P、ボランティアコンピューティング環境を含む、異種で大規模な分散システムをどれほど効果的にモデル化できるか？

主な発見

• 過去5年間で、4大陸から100人以上の異なる著者らが、60篇以上の研究論文および博士論文で SimGrid を活用した。
• フレームワークは単一研究室プロジェクトから、20名以上のアクティブな貢献者を擁する国際的協働プロジェクトへと進化し、長期的持続可能性を実証した。
• 継続的インテグレーションと自動テスト（CDash および tesh を通じて）のおかげで、コードの安定性が著しく向上し、複数のアーキテクチャおよびオペレーティングシステムで定期的なクロスプラットフォームテストが実施された。
• トレースベースのモデルと障害シミュレーション機能の導入により、動的かつ異種のプラットフォームの正確で現実的なシミュレーションが可能になった。
• チュートリアル、ドキュメント、ユーザーデイズ、迅速な対応が可能なメーリングリストを通じた積極的なユーザー参加が、活発で安定したユーザー基盤の拡大と維持に不可欠であった。
• 科学的調査とソフトウェア工学の両方の資金源を多様に確保することが、個々の研究プロジェクトのライフサイクルを越えて開発を継続する上で極めて重要であった。