[論文レビュー] Deterministic Consistency: A Programming Model for Shared Memory Parallelism

Amittai Aviram, Bryan Ford|arXiv (Cornell University)|Dec 4, 2009

Parallel Computing and Optimization Techniques参考文献 32被引用数 6

ひとこと要約

本稿では、すべての並列スレッドが共有出力を書き込む前に入力を読み込むことを保証する共有メモリプログラミングモデルである決定的整合性（DC）を提案する。このモデルにより、データレースやヒーゼンバグが排除され、言語制限や人工スケジューリングを必要とせず、低遅延（<10%）で実装可能なプロトタイプ実装により、OpenMPに類似したワークロードで高い性能が達成される。

ABSTRACT

The difficulty of developing reliable parallel software is generating interest in deterministic environments, where a given program and input can yield only one possible result. Languages or type systems can enforce determinism in new code, and runtime systems can impose synthetic schedules on legacy parallel code. To parallelize existing serial code, however, we would like a programming model that is naturally deterministic without language restrictions or artificial scheduling. We propose "deterministic consistency", a parallel programming model as easy to understand as the "parallel assignment" construct in sequential languages such as Perl and JavaScript, where concurrent threads always read their inputs before writing shared outputs. DC supports common data- and task-parallel synchronization abstractions such as fork/join and barriers, as well as non-hierarchical structures such as producer/consumer pipelines and futures. A preliminary prototype suggests that software-only implementations of DC can run applications written for popular parallel environments such as OpenMP with low (&lt;10%) overhead for some applications.

研究の動機と目的

• 非決定的動作や再現困難なヒーゼンバグに悩まされる信頼性の高い並列ソフトウェアの開発という課題に対処すること。
• 従来の順次コードや一般的な並列抽象化と互換性があり、直感的で決定的である共有メモリプログラミングモデルを設計すること。
• 言語レベルの型システムやランタイムの予測実行を必要とせず、データレースやスケジューリング依存バグを排除すること。
• レガシーや新規に並列化されたコードに対して、ソフトウェアオンリーで効率的な決定的並列実行を実現すること。

提案手法

• 並列実行における入力の読み込みをすべてのスレッドが完了した後に共有出力を書き込むというメモリモデルを定義し、順次言語における並列代入を模倣する。
• 同期化プリミティブとして、リリース（書き込みの発表）とアキュームレート（更新の受信）を導入し、一致するペアによって happens-before 関係を強制する。
• アキュームレートとリリースの一意なペアリングを要求することで決定的を保証し、同期ポイントで競合する書き込みは決定的に解決する。
• フォークジョインやバリアといった階層的抽象化に加え、パイプラインやフュTUREといった非階層的パターンもサポートする。
• リリースが更新を送信し、アキュームレートがそれをローカルに統合する分散共有メモリ抽象化としてDCを実装する。
• ソフトウェアオンリーのプロトタイプを用いて、OpenMPアプリケーションを含む既存の並列ワークロードで10%未満の遅延で実現可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 言語レベルの型システムや静的解析を必要とせず、決定的実行を保証する共有メモリモデルを設計できるか？
• RQ2 既存の並列コードに対して、最小限の性能劣化で決定的整合性を実現できるか？
• RQ3 DCはパイプライン、フュTURE、タスク並列化といった一般的な並列プログラミングパターンを、決定的性質を保ちつつサポートできるか？
• RQ4 トランザクションメモリやレプレイベースデバッグと比較して、DCは効率性と正しさの点で優れているか？
• RQ5 ハードウェアトランザクションメモリや人工スケジューリングに依存せず、ソフトウェアで効率的に実装できるか？

主な発見

• 決定的整合性は、すべてのスレッドが共有出力を書き込む前に入力を読み込むことを保証し、データレースや非決定的動作を排除する。
• フォークジョイン、バリア、パイプライン、フュTUREといった一般的な同期パターンを、決定的意味論とともにサポートする。
• DCのソフトウェアプロトタイプは、特定のOpenMPに類似したアプリケーションで10%未満の遅延を達成し、実用的な効率性を示している。
• トランザクションメモリやDMPベースのシステムとは異なり、予測実行やロールバック、人工スケジューリングの必要がない。
• 外部入力をログに記録することで、共有状態が存在する状況でも完全な決定的性質を保証でき、実行の再現性が可能になる。
• シンプルさ、決定的性質、既存の並列プログラミングパターンとの互換性を組み合わせたDCは、順次整合性の実用的代替手段を提供する。