[论文解读] Deterministic Consistency: A Programming Model for Shared Memory Parallelism

Amittai Aviram, Bryan Ford|arXiv (Cornell University)|Dec 4, 2009

Parallel Computing and Optimization Techniques参考文献 32被引用 6

一句话总结

本文提出确定性一致性（Deterministic Consistency, DC），一种共享内存编程模型，确保所有并行线程在写入共享输出前读取所有输入，从而消除数据竞争和难以复现的heisenbugs。通过显式使用获取/释放对强制确定性同步，DC 实现了无需语言限制或人工调度的可靠、可预测并行性，在 OpenMP 类工作负载的原型实现中，性能开销低于10%。

ABSTRACT

The difficulty of developing reliable parallel software is generating interest in deterministic environments, where a given program and input can yield only one possible result. Languages or type systems can enforce determinism in new code, and runtime systems can impose synthetic schedules on legacy parallel code. To parallelize existing serial code, however, we would like a programming model that is naturally deterministic without language restrictions or artificial scheduling. We propose "deterministic consistency", a parallel programming model as easy to understand as the "parallel assignment" construct in sequential languages such as Perl and JavaScript, where concurrent threads always read their inputs before writing shared outputs. DC supports common data- and task-parallel synchronization abstractions such as fork/join and barriers, as well as non-hierarchical structures such as producer/consumer pipelines and futures. A preliminary prototype suggests that software-only implementations of DC can run applications written for popular parallel environments such as OpenMP with low (<10%) overhead for some applications.

研究动机与目标

• 解决因非确定性行为和难以复现的heisenbugs而难以开发可靠并行软件的挑战。
• 设计一种直观、确定性且与现有顺序代码和常见并行抽象兼容的共享内存编程模型。
• 在不依赖语言级别类型系统或运行时推测的前提下，消除数据竞争和依赖调度的错误。
• 为遗留代码和新并行化代码提供高效、纯软件实现的确定性并行性。

提出的方法

• 定义一种内存模型，其中并发线程在写入共享输出前读取所有输入，其设计灵感来自顺序语言中的并行赋值。
• 引入同步原语：释放（发布写入）和获取（接收更新），通过匹配对强制执行 happens-before 关系。
• 通过要求获取与释放的唯一配对，并在同步点通过确定性方式解决冲突写入，确保确定性。
• 支持分层抽象（如 fork/join 和屏障），以及非分层模式（如流水线和未来对象）。
• 将 DC 实现为分布式共享内存抽象，其中释放操作传输更新，获取操作在本地集成更新。
• 使用纯软件原型在现有并行工作负载（包括 OpenMP 应用）上展示低于10%的性能开销。

实验结果

研究问题

• RQ1 能否设计一种共享内存模型，确保无需语言级别类型系统或静态分析即可实现确定性执行？
• RQ2 在现有并行代码上，如何以最小性能开销实现实际的确定性一致性？
• RQ3 DC 是否能够支持流水线、未来对象和任务并行等常见并行编程范式，同时保持确定性？
• RQ4 与基于事务内存或重放调试的现有确定性模型相比，DC 在效率和正确性方面表现如何？
• RQ5 DC 是否能通过纯软件实现高效运行，而无需依赖硬件事务内存或人工调度？

主要发现

• 确定性一致性确保所有线程在写入共享输出前读取所有输入，从而消除数据竞争和非确定性行为。
• 该模型支持 fork/join、屏障、流水线和未来对象等常见同步模式，并具有确定性语义。
• DC 的软件原型在某些 OpenMP 类应用程序上实现的开销低于10%，证明了其实际效率。
• 与事务内存或基于 DMP 的系统不同，DC 避免了推测、回滚或人工调度的需要。
• 只要外部输入被记录，该模型即使在存在共享状态的情况下也能实现完全确定性，使执行过程可复现。
• DC 通过结合简洁性、确定性和与现有并行编程范式的兼容性，为顺序一致性提供了一种实用的替代方案。