[論文レビュー] Weaves: A Novel Direct Code Execution Interface for Parallel High Performance Scientific Codes

Srinidhi Varadarajan, Joy Chandra Mukherjee+1 more|ArXiv.org|May 4, 2002

Parallel Computing and Optimization Techniques参考文献 13被引用数 4

ひとこと要約

Weavesは、コードの再構築や特定のプログラミングモデルへの準拠を必要とせずに、変更の加えられた並列高機能科学コードの直接実行、組み合わせ、実行時制御を可能にする画期的なフレームワークを導入する。一般化された実行モデルを活用することで、従来のコードベースへの透明な統合とパフォーマンス特徴化を実現し、x86アーキテクチャ上で最小限のランタイムオーバーヘッドを伴うプロトタイプを用いて実証された。

ABSTRACT

Scientific codes are increasingly being used in compositional settings, especially problem solving environments (PSEs). Typical compositional modeling frameworks require significant buy-in, in the form of commitment to a particular style of programming (e.g., distributed object components). While this solution is feasible for newer generations of component-based scientific codes, large legacy code bases present a veritable software engineering nightmare. We introduce Weaves a novel framework that enables modeling, composition, direct code execution, performance characterization, adaptation, and control of unmodified high performance scientific codes. Weaves is an efficient generalized framework for parallel compositional modeling that is a proper superset of the threads and processes models of programming. In this paper, our focus is on the transparent code execution interface enabled by Weaves. We identify design constraints, their impact on implementation alternatives, configuration scenarios, and present results from a prototype implementation on Intel x86 architectures.

研究の動機と目的

• 変更の加えられた高機能科学コードを、再構築やコンポーネントベースのモデルへの準拠を必要とせずに、組み合わせ型問題解決環境に統合する課題に対処すること。
• 分散および並列コンピューティング環境において、変更の加えられた並列科学コードの透明な実行と実行時管理を可能にすること。
• 従来のスレッドおよびプロセスモデルを拡張する、より広範な組み合わせを支援する一般化された実行モデルの設計。
• 統一されたフレームワーク内での科学コードのパフォーマンス特徴化、適応、制御を支援すること。
• Intel x86アーキテクチャ上でのプロトタイプ実装を通じて、このアプローチの実現可能性と効率性を実証すること。

提案手法

• Weavesは、変更の加えられた科学コードを変更や再コンパイルなしに組み合わせて実行できる直接コード実行インターフェースを採用する。
• フレームワークは、スレッドとプロセスの両方を包含する一般化された実行モデルを用い、並列コンポーネントの柔軟な組み合わせを可能にする。
• 既存のPSE（問題解決環境）との統合のために、低レベルの並列処理や通信の詳細を抽象化する透明なインターフェースを提供する。
• 実行時監視とパフォーマンス特徴化は、元のコードを変更せずに、インストルメンテーションとメタデータ収集により達成される。
• パフォーマンスフィードバックと構成ポリシーに基づいて、コード実行の動的適応と制御が可能である。
• プロトタイプは、標準的な並列プログラミングインタフェースとシステムレベルのメカニズムを用いて、Intel x86アーキテクチャ上で実装された。

実験結果

リサーチクエスチョン

• RQ1 変更の加えられた高機能科学コードを、再構築を必要とせずに、組み合わせ型環境で実行・組み合わせることは可能か？
• RQ2 スレッドとプロセスの両方を拡張する一般化された実行モデルを設計するにあたり、どのような設計原則が有効か？
• RQ3 従来のコードに対して、どのようにしてパフォーマンス特徴化と実行時制御を透明に達成できるか？
• RQ4 このようなフレームワークを既存のHPCワークロードに統合した場合のパフォーマンスとスケーラビリティへの影響は何か？
• RQ5 このフレームワークは、科学コード実行の動的適応と制御をどの程度までサポートできるか？

主な発見

• Weavesは、再構築やコンポーネントベースのモデルへの移行を必要とせずに、変更の加えられた並列科学コードの直接実行を透明なインターフェースを通じて実現した。
• フレームワークは、元のソースコードを変更することなく、レガシーコードの組み合わせ、パフォーマンス特徴化、実行時制御をサポートする。
• Intel x86アーキテクチャ上でのプロトタイプ実装は、低いランタイムオーバーヘッドを示しており、実世界のHPCワークロードにおける実用的妥当性を示している。
• Weavesはスレッドおよびプロセスモデルの適切なスーパーセットを提供し、より表現力があり柔軟な並列組み合わせを可能にする。
• システムは、コード実行の効率的な監視とインストルメンテーションを可能にし、組み合わせ型環境におけるパフォーマンス分析と適応を支援する。
• このアプローチは、特に大規模な科学コンピューティングにおいて、レガシーコードを問題解決環境に統合する際のソフトウェア工学的負荷を低減する。